机器学习模型训练方法和装置、标签生成方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115115061A(43)申请公布日2022.09.27(21)申请号202210748483.8(22)申请日2022.06.29(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人方俊刘超刘朋樟包勇军(74)专利代理机构中国贸促会专利商标事务所有限公司11038专利代理师刘剑波方亮(51)Int.Cl.G06N20/00(2019.01)G06F40/205(2020.01)G06K9/62(2022.01)权利要求书3页说明书10页附图3页(54)发明名称机器学习模型训练方法和装置、标签生成方法和装置(57)摘要本公开提供一种机器学习模型训练方法和装置、标签生成方法和装置，涉及人工智能领域。机器学习模型训练方法包括：根据文本样本生成结构化文本数据；根据文本样本的标注结果生成至少一个结构化标签样本数据；将结构化文本数据输入机器学习模型，以便机器学习模型根据结构化文本数据生成至少一个结构化标签预测数据，其中结构化文本数据、结构化标签样本数据和结构化标签预测数据具有相同的预设标签元素；根据至少一个结构化预测标签数据和至少一个结构化标签数据确定损失函数；利用损失函数对机器学习模型进行训练。CN115115061ACN115115061A权利要求书1/3页1.一种机器学习模型训练方法，包括：根据文本样本生成结构化文本数据；根据所述文本样本的标注结果生成至少一个结构化标签样本数据；将所述结构化文本数据输入机器学习模型，以便所述机器学习模型根据所述结构化文本数据生成至少一个结构化标签预测数据，其中所述结构化文本数据、所述结构化标签样本数据和所述结构化标签预测数据具有相同的预设标签元素；根据所述至少一个结构化预测标签数据和所述至少一个结构化标签数据确定损失函数；利用所述损失函数对所述机器学习模型进行训练。2.根据权利要求1所述的方法，其中，所述结构化文本数据包括所述文本样本、所述预设标签元素及对应的填充词；其中，所述填充词用于指示将从所述文本样本中提取出的与对应预设标签元素相关联的文本元素填充在对应结构化标签预测数据中的预定位置上。3.根据权利要求2所述的方法，其中，所述结构化标签样本数据包括所述预设标签元素及对应的标注样本内容。4.根据权利要求3所述的方法，其中，所述结构化标签预测数据包括所述预设标签元素及对应的标注预测内容。5.根据权利要求1‑4中任一项所述的方法，其中，所述预设标签元素包括类别C、方面A、观点O和态度S中的至少一项。6.根据权利要求5所述的方法，其中，在方面‑观点对抽取场景下，所述预设标签元素包括方面A和观点O；在方面‑态度对抽取场景下，所述预设标签元素包括方面A和态度S；在方面‑观点‑态度三元组抽取场景下，所述预设标签元素包括方面A、观点O和态度S；在方面‑类别‑态度三元组抽取场景下，所述预设标签元素包括方面A、类别C和态度S。7.一种机器学习模型训练装置，包括：第一训练模块，被配置为根据文本样本生成结构化文本数据；第二训练模块，被配置为根据所述文本样本的标注结果生成至少一个结构化标签样本数据；第三训练模块，被配置为将所述结构化文本数据输入机器学习模型，以便所述机器学习模型根据所述结构化文本数据生成至少一个结构化标签预测数据，其中所述结构化文本数据、所述结构化标签样本数据和所述结构化标签预测数据具有相同的预设标签元素；第四训练模块，被配置为根据所述至少一个结构化预测标签数据和所述至少一个结构化标签数据确定损失函数，利用所述损失函数对所述机器学习模型进行训练。8.根据权利要求7所述的装置，其中，所述结构化文本数据包括所述文本样本、所述预设标签元素及对应的填充词；其中，所述填充词用于指示将从所述文本样本中提取出的与对应预设标签元素相关联的文本元素填充在对应结构化标签预测数据中的预定位置上。9.根据权利要求8所述的装置，其中，所述结构化标签样本数据包括所述预设标签元素及对应的标注样本内容。2CN115115061A权利要求书2/3页10.根据权利要求9所述的装置，其中，所述结构化标签预测数据包括所述预设标签元素及对应的标注预测内容。11.根据权利要求7‑10中任一项所述的装置，其中，所述预设标签元素包括类别C、方面A、观点O和态度S中的至少一项。12.根据权利要求11所述的装置，其中，在方面‑观点对抽取场景下，所述预设标签元素包括方面A和观点O；在方面‑态度对抽取场景下，所述预设标签元素包括方面A和态度S；在方面‑观点‑态度三元组抽取场景下，所述预设标签元素包括方面A、观点O和态度S；在方面‑类别‑态度三元组抽取场景下，所述预设标签元素包