文本分类模型的训练方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113918720A(43)申请公布日2022.01.11(21)申请号202111275208.0G06Q40/02(2012.01)(22)申请日2021.10.29(71)申请人平安普惠企业管理有限公司地址518000广东省深圳市前海深港合作区前湾一路1号A栋201室（入驻深圳市前海商务秘书有限公司）(72)发明人魏万顺(74)专利代理机构深圳市力道知识产权代理事务所(普通合伙)44507代理人张传义(51)Int.Cl.G06F16/35(2019.01)G06F16/332(2019.01)G06F40/30(2020.01)G06N3/08(2006.01)权利要求书2页说明书11页附图5页(54)发明名称文本分类模型的训练方法、装置、设备及存储介质(57)摘要本申请涉及人工智能，尤其涉及自然语言处理技术领域，提供一种文本分类模型的训练方法、装置、设备及存储介质，该方法包括：获取第一训练数据集，第二训练数据集；将第一训练数据集输入多个候选文本分类模型进行模型训练，获得每个候选文本分类模型对应的模型评价信息；模型评价信息表征候选文本分类模型的泛化能力；根据模型评价信息确定多个候选文本分类模型中泛化能力最强的候选文本分类模型，作为目标文本分类模型；将第二训练数据集输入目标文本分类模型，对目标文本分类模型进行模型训练，获得训练好的目标文本分类模型，实现提高文本分类的准确性。本申请还涉及区块链技术，第一训练数据集和第二训练数据集可以存储在区块链节点中。CN113918720ACN113918720A权利要求书1/2页1.一种文本分类模型的训练方法，其特征在于，所述文本分类模型的训练方法包括：获取第一训练数据集，以及获取第二训练数据集，其中，所述第一训练数据集包括标签数据，所述第二训练数据集包括无标签数据；分别将所述第一训练数据集输入多个候选文本分类模型，对所述多个候选文本分类模型进行模型训练，获得每个所述候选文本分类模型对应的模型评价信息；其中，所述模型评价信息表征所述候选文本分类模型的泛化能力，所述模型评价信息包括ACC值、F1值、loss值中的任意一种；根据每个所述候选文本分类模型对应的所述模型评价信息，确定多个所述候选文本分类模型中泛化能力最强的候选文本分类模型，作为目标文本分类模型；将所述第二训练数据集输入所述目标文本分类模型，对所述目标文本分类模型进行模型训练，获得训练好的目标文本分类模型。2.如权利要求1所述的文本分类模型的训练方法，其特征在于，所述根据每个所述候选文本分类模型对应的所述模型评价信息，确定多个所述候选文本分类模型中泛化能力最强的候选文本分类模型，作为目标文本分类模型，包括：根据每个所述候选文本分类模型对应的ACC值，将最大ACC值对应的候选文本分类模型确定为所述目标文本分类模型；其中，候选文本分类模型对应的ACC值越大，候选文本分类模型的泛化能力越强。3.如权利要求1所述的文本分类模型的训练方法，其特征在于，所述对所述多个候选文本分类模型进行模型训练之前，包括：将所述多个候选文本分类模型对应的模型相关信息保存于数据库中；其中，所述模型相关信息包括模型名称、执行实例ID、执行结果；所述分别将所述第一训练数据集输入多个候选文本分类模型，对所述多个候选文本分类模型进行模型训练，包括：启动多个训练机，并基于所述数据库中保存的所述模型相关信息，确定每个所述训练机当前对应的待训练的候选文本分类模型；将所述第一训练数据集输入每个所述训练机当前对应的候选文本分类模型，对每个所述训练机当前对应的候选文本分类模型进行模型训练。4.如权利要求3所述的文本分类模型的训练方法，其特征在于，所述基于所述数据库中保存的所述模型相关信息，确定每个所述训练机当前对应的待训练的候选文本分类模型，包括：通过第一训练机遍历所述数据库查询当前为空值的目标执行实例ID，将所述目标执行实例ID的空值更新为所述第一训练机对应的ID信息，并返回所述目标执行实例ID对应的模型名称信息；其中，所述第一训练机为多个训练机中的任意一个训练机；若所述模型名称信息为空值，则返回执行所述通过第一训练机遍历所述数据库查询当前为空值的目标执行实例ID的操作；若所述模型名称信息为非空值，则将所述模型名称信息对应的第一候选文本分类模型，确定为所述第一训练机当前对应的待训练的候选文本分类模型。5.如权利要求4所述的文本分类模型的训练方法，其特征在于，所述若所述模型名称信息为非空值，则将所述模型名称信息对应的第一候选文本分类模型，确定为所述第一训练2CN113918720A权利要求书2/2页机当前对应的待训练的候选文本分类模型之后，包括：将所述第一训练数据集输入所述第一候选文本分类模型，对所述