语言模型训练方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115062718A(43)申请公布日2022.09.16(21)申请号202210752657.8(22)申请日2022.06.29(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦二层(72)发明人田鑫陈泽裕熊昊一王雅晴(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师罗岚(51)Int.Cl.G06K9/62(2022.01)G06F16/35(2019.01)G06F40/186(2020.01)G06N20/00(2019.01)权利要求书3页说明书11页附图3页(54)发明名称语言模型训练方法、装置、电子设备及存储介质(57)摘要本公开提供了一种语言模型训练方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及自然语言处理和深度学习等领域。具体实施方案为：获取原始训练文本以及标签集合；基于原始训练文本和标签集合，生成第一训练文本和第二训练文本；对待训练的语言模型进行训练，以获取目标损失值；根据目标损失值对语言模型的模型参数进行调整，继续使用下一个原始训练文本进行训练，直至训练结束生成目标语言模型。通过将原始训练文生成第一训练文本和第二训练文本，对语言模型进行训练，相较于传统的只包含第一训练文本或者第二训练文本的方法，训练样本更丰富，同时降低差异性较大的问题，使目标语言模型鲁棒性更强，预测结果更加准确。CN115062718ACN115062718A权利要求书1/3页1.一种语言模型训练方法，包括：获取原始训练文本以及所述原始训练文本对应的标签集合；基于所述原始训练文本和所述标签集合，生成第一训练文本和第二训练文本，其中，所述第一训练文本为完型填空类文本，所述第二训练文本为蕴含分类任务的文本；根据所述第一训练文本和所述第二训练文本，对待训练的语言模型进行训练，以获取目标损失值；根据所述目标损失值对所述语言模型的模型参数进行调整，并继续使用下一个原始训练文本对调整后的所述语言模型进行训练，直至训练结束生成目标语言模型。2.根据权利要求1所述的方法，其中，所述第一训练文本的生成过程，包括：根据所述原始训练文本，确定用于生成所述完型填空类文本的第一模板，其中，所述第一模板包括至少一个第一掩码；对所述第一模板和所述原始训练文本进行组合，生成第一模板文本；将所述标签集合中的每个标签分别输入至所述第一模板文本中所述第一掩码位置，以生成每个标签对应的所述第一训练文本。3.根据权利要求1所述的方法，其中，所述第二训练文本的生成过程，包括：根据所述原始训练文本，确定用于生成所述蕴含分类任务的文本的第二模板，其中，所述第二模板包括分类选项和至少一个第二掩码；对所述第二模板和所述原始训练文本进行组合，生成第二模板文本；将所述标签集合中的每个所述标签分别输入至所述第二模板文本中所述第二掩码位置，以生成每个所述标签对应的所述第二训练文本。4.根据权利要求2或3所述的方法，其中，所述方法还包括：确定所述原始训练文本的分类任务类型；基于所述分类任务类型，从第一模板候选集合中确定所述第一模板；或者，基于所述分类任务类型，从第二模板候选集合中确定所述第二模板。5.根据权利要求1所述的方法，其中，所述目标损失值的确定过程，包括：基于所述第一训练文本输入所述语言模型中输出的预测标签结果确定第一损失值；获取所述第二训练文本输入所述语言模型中输出的分类选项结果确定第二损失值；基于所述第一损失值和所述第二损失值确定所述目标损失值。6.根据权利要求5所述的方法，其中，所述第一损失值的获取方法，包括：获取每个所述标签对应的所述第一训练文本输入待训练的所述语言模型输出的第一概率；基于所述第一概率与所述标签对应的第一真实概率求取第一个体损失值；将所有所述标签的所述第一个体损失值求取平均值作为所述第一损失值。7.根据权利要求5所述的方法，其中，所述第二损失值的获取方法，包括：获取每个所述标签对应的所述第二训练文本输入待训练的所述语言模型输出的第二概率；基于所述第二概率与所述标签对应的第二真实概率求取第二个体损失值；将所有所述标签的所述第二个体损失值求取平均值作为所述第二损失值。8.一种语言模型训练装置，包括：2CN115062718A权利要求书2/3页获取模块，用于获取原始训练文本以及所述原始训练文本对应的标签集合；生成模块，用于基于所述原始训练文本和所述标签集合，生成第一训练文本和第二训练文本，其中，所述第一训练文本为完型填空类文本，所述第二训练文本为蕴含分类任务的文本；训练模块，用于根据所述第一训练文本和所述第二训练文本，对待训练的语言模型进行训练，以获取目标损失值；调整模块，用于根据所述目标损失值对所述语言模型的模型参数进行调