自然语言生成模型的训练方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113111638A(43)申请公布日2021.07.13(21)申请号202110395155.XG06K9/62(2006.01)(22)申请日2021.04.13G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人北京沃东天骏信息技术有限公司G06N20/00(2019.01)地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人程维(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人张雷刘剑波(51)Int.Cl.G06F40/216(2020.01)G06F40/242(2020.01)G06F40/30(2020.01)权利要求书3页说明书12页附图3页(54)发明名称自然语言生成模型的训练方法和装置(57)摘要本公开涉及一种自然语言生成模型的训练方法和装置，涉及计算机技术领域。该训练方法包括：以各历史时刻的生成词为当前时刻的状态，以当前时刻的生成词的输出为动作，将自然语言生成处理建模为强化学习模型；根据强化学习模型输出的各时刻的生成词的优势函数，确定第一目标函数；根据各时刻的标注结果的概率分布与各时刻的生成词的概率分布之间的差异，确定第二目标函数；根据第一目标函数、第二目标函数的加权平均值，训练强化学习模型。CN113111638ACN113111638A权利要求书1/3页1.一种自然语言生成模型的训练方法，包括：以各历史时刻的生成词为当前时刻的状态，以当前时刻的生成词的输出为动作，将自然语言生成处理建模为强化学习模型；根据所述强化学习模型输出的各时刻的生成词的优势函数，确定第一目标函数；根据各时刻的标注结果的概率分布与各时刻的生成词的概率分布之间的差异，确定第二目标函数；根据所述第一目标函数、所述第二目标函数的加权平均值，训练所述强化学习模型。2.根据权利要求1所述的训练方法，其中，所述根据所述强化学习模型输出的各时刻的生成词的优势函数，确定第一目标函数包括：根据各时刻的状态动作函数与其前一时刻的状态动作函数的差异，确定所述优势函数。3.根据权利要求2所述的训练方法，其中，所述确定所述优势函数包括：根据时刻0～t‑1的动作a0～at‑1、时刻t的动作at，预测时刻t+1～L‑1的多种动作组合at+1～aL‑1；计算各动作组合at+1～aL‑1的奖励值；根据各奖励值的加权平均值，确定t时刻的状态动作函数。4.根据权利要求1所述的训练方法，其中，所述根据所述强化学习模型输出的各时刻的生成词的优势函数，确定第一目标函数包括：利用所述强化学习模型，输出的各时刻的生成词的生成概率；根据各时刻的生成词的优势函数和生成概率，确定所述第一目标函数。5.根据权利要求1所述的训练方法，其中，所述根据各时刻的标注结果的概率分布与各时刻的生成词的概率分布之间的差异，确定第二目标函数包括：根据各时刻的标注结果与语料库中各词语之间的差异，确定各时刻的先验概率；利用所述强化学习模型，输出的各时刻的生成词的生成概率；根据各时刻的先验概率与生成概率的差异的加权平均值，确定所述第二目标函数。6.根据权利要求5所述的训练方法，其中，所述根据各时刻的标注结果与语料库中各词语之间的差异，确定各时刻的先验概率包括：根据各时刻的标注结果的词向量与语料库中各词语的向量的相似度，确定各时刻的先验概率。7.根据权利要求5所述的训练方法，其中，所述根据各时刻的先验概率与生成概率的差异的加权平均值，确定所述第二目标函数包括：根据各时刻的生成词的优势函数，确定相应时刻的先验概率与生成概率的差异的权重，所述权重与所述优势函数负相关。8.根据权利要求1所述的训练方法，其中，所述根据所述第一目标函数、所述第二目标函数的加权平均值，训练所述强化学习模型包括：根据所述第一目标函数、所述第二目标函数的加权平均值，确定综合目标函数；以所述综合目标函数最小化为条件，训练所述强化学习模型。9.根据权利要求1‑8任一项所述的训练方法，还包括：利用完成训练的所述强化学习模型，生成自然语言数据。2CN113111638A权利要求书2/3页10.根据权利要求9所述的训练方法，其中，所述生成自然语言数据包括：利用完成训练的所述强化学习模型，将输入的第一语言数据，翻译为第二语言数据。11.一种自然语言的生成方法，包括：以各历史时刻的生成词为当前时刻的状态，以当前时刻的生成词的输出为动作，将自然语言生成处理建模为强化学习模型；根据所述强化学习模型输出的各时刻的生成词的优势函数，确定第一目标函数；根据各时刻的标注结果的概率分布与各时刻的生成词的概率分布之间的差异，确定第二目标函数；根据所述第一目标函数、所述