一种模型训练方法、文本生成方法、装置、介质及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762459A(43)申请公布日2021.12.07(21)申请号202110105936.0G06F40/44(2020.01)(22)申请日2021.01.26(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人李浩然徐松(74)专利代理机构北京品源专利代理有限公司11332代理人孟金喆(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06F40/284(2020.01)权利要求书2页说明书10页附图4页(54)发明名称一种模型训练方法、文本生成方法、装置、介质及设备(57)摘要本发明公开了一种模型训练方法、文本生成方法、装置、介质及设备。其中，模型训练方法包括：获取样本文本，将所述样本文本输入至待训练的文本生成模型，获取所述编码器输出的所述样本文本中各词之间的相关性系数，以及所述解码器输出的自注意力参数和预测结果；基于所述样本文本中各词之间的相关性系数确定各词的重要性指数；基于所述各词的重要性指数、自注意力参数、所述预测结果和所述样本文本对应的标准文本生成损失函数；基于所述损失函数对所述待训练的文本生成模型进行模型参数调节，直到训练过程满足训练停止条件，得到目标文本生成模型。提高文本生成模型从输入文本中提取重要词的能力，进一步提高输出文本的质量。CN113762459ACN113762459A权利要求书1/2页1.一种模型训练方法，其特征在于，文本生成模型包括编码器和解码器，所述方法包括：获取样本文本，将所述样本文本输入至待训练的文本生成模型，获取所述编码器输出的所述样本文本中各词之间的相关性系数，以及所述解码器输出的自注意力参数和预测结果；基于所述样本文本中各词之间的相关性系数确定各词的重要性指数；基于所述各词的重要性指数、自注意力参数、所述预测结果和所述样本文本对应的标准文本生成损失函数；基于所述损失函数对所述待训练的文本生成模型进行模型参数调节，直到训练过程满足训练停止条件，得到目标文本生成模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述样本文本中各词之间的相关性系数确定各词的重要性指数，包括：基于各词之间的相关性系数确定各词之间的游走参数；基于所述各词之间的游走参数进行随机游走，确定所述样本文本中各词的重要性指数。3.根据权利要求2所述的方法，其特征在于，第一词与第二词之间的游走参数基于所述第一词与第二词之间的相关性系数，以及所述第一词与所述样本文本中各词的相关性系数和的比例确定。4.根据权利要求2所述的方法，其特征在于，任一词的重要性指数基于所述任一词与所述样本文本中各词的游走参数，以及各词的重要性指数确定。5.根据权利要求1所述的方法，其特征在于，所述基于所述各词的重要性指数、自注意力参数、所述预测结果和所述样本文本对应的标准文本生成损失函数，包括：基于所述各词的重要性指数、自注意力参数生成第一损失函数；基于所述预测结果中各词的预测概率和所述标准文本中的标准词生成第二损失函数；基于所述第一损失函数和所述第二损失函数得到目标损失函数。6.根据权利要求1所述方法，其特征在于，所述编码器为基于自注意力机制的第一循环网络模块，所述解码器为基于自注意力机制的第二循环网络模块。7.一种文本生成方法，其特征在于，包括：获取初始文本，将所述初始文本输入至所述目标文本生成模型，获取所述目标文本生成模型循环输出的各词的预测概率，其中，所述目标文本生成模型为如权利要求1‑6任一所述模型训练方法训练得到；根据任一循环输出的各词的预测概率确定所述任一循环对应的目标词，基于各循环对应的目标词形成目标文本，其中，所述目标文本为所述初始文本对应的摘要文本。8.一种模型训练装置，其特征在于，文本生成模型包括编码器和解码器，所述装置包括：训练数据获取模块，用于获取样本文本，将所述样本文本输入至待训练的文本生成模型，获取所述编码器输出的所述样本文本中各词之间的相关性系数，以及所述解码器输出的自注意力参数和预测结果；重要性指数确定模块，用于基于所述样本文本中各词之间的相关性系数确定各词的重2CN113762459A权利要求书2/2页要性指数；损失函数确定模块，用于基于所述各词的重要性指数、所述自注意力参数、所述预测结果和所述样本文本对应的标准文本生成损失函数；模型参数调节模块，用于基于所述损失函数对所述待训练的文本生成模型进行模型参数调节，直到训练过程满足训练停止条件，得到目标文本生成模型。9.一种文本生成装置，其特征在于，包括：词预测模块，用于获取初始文本，将所述初始文本输入至所述目标文本生成模