对话生成模型的训练方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115080707A(43)申请公布日2022.09.20(21)申请号202110269780.X(22)申请日2021.03.12(71)申请人阿里巴巴新加坡控股有限公司地址新加坡珊顿道8号AXA大厦45层01室(72)发明人周杰田俊峰王睿肖文明(74)专利代理机构北京智信四方知识产权代理有限公司11519专利代理师钟文芳(51)Int.Cl.G06F16/332(2019.01)G06F16/33(2019.01)G06K9/62(2022.01)权利要求书4页说明书22页附图6页(54)发明名称对话生成模型的训练方法、装置、电子设备及存储介质(57)摘要本公开实施例公开了一种对话生成模型的训练方法、装置、电子设备及存储介质，所述方法包括：获取训练样本；所述训练样本包括对话文本中的问题、问题的回复以及所述对话文本所对应的目标对象的多模态数据；将所述问题及所述多模态数据输入对话生成模型的编码层，得到所述问题感知的多模态特征表示；将所述问题的回复及所述问题感知的多模态特征表示输入所述对话生成模型的解码层，得到所述问题的回复的预测结果；根据所述问题回复的预测结果对所述对话生成模型进行训练。该技术方案能够避免由于问题所针对的目标对象的属性值缺失而导致对话生成模型无法给出准确回复的情况，从而能够提高对话生成模型的预测准确率，提高用户的使用体验。CN115080707ACN115080707A权利要求书1/4页1.一种对话生成模型的训练方法，其中，包括：获取训练样本；所述训练样本包括对话文本中的问题、问题的回复以及所述对话文本所对应的目标对象的多模态数据；将所述问题及所述多模态数据输入对话生成模型的编码层，得到所述问题感知的多模态特征表示；将所述问题的回复及所述问题感知的多模态特征表示输入所述对话生成模型的解码层，得到所述问题的回复的预测结果；根据所述问题回复的预测结果对所述对话生成模型进行训练。2.根据权利要求1所述的方法，其中，所述编码层通过如下方式获得所述问题感知的多模态特征表示：利用双向注意力机制获得从所述问题到所述多模态数据的第一交互，以及，从所述多模态数据到所述问题的第二交互；根据所述第一交互和所述第二交互得到所述问题感知的多模态特征表示。3.根据权利要求1所述的方法，其中，所述解码层通过如下方式得到所述问题的回复的预测结果：利用注意力机制获取所述回复对应的回复特征表示，并利用注意力机制基于所述多模态特征表示和所述回复特征表示获取所述回复的预测结果。4.根据权利要求1‑3任一项所述的方法，其中，所述编码层包括一组第一编码模块和至少一组第二编码模块；一组所述第一编码模块包括依次连接的多个第一编码模块，且上一所述第一编码模块的处理结果输出至下一所述第一编码模块，且第一个所述第一编码模块的输入包括所述问题，最后一个所述第一编码模块的输出包括所述问题对应的问题特征表示；每个所述第一编码模块包括第一编码子模块，所述第一编码子模块对输入进行注意力机制的处理；所述至少一组第二编码模块中，其中一组所述第二编码模块对应处理所述多模态数据中的其中一种模态数据，且每组所述第二编码模块包括依次连接的多个第二编码模块；一组所述第二编码模块中，上一所述第二编码模块的处理结果输出至下一所述第二编码模块，第一个所述第二编码模块的输入为所述多模态数据中对应的其中一种模态数据，最后一个所述第二编码模块的输出包括感知所述问题的多模态特征表示；所述第二编码模块包括第二编码子模块和双向注意力机制模块，所述第二编码子模块对输入进行注意力机制的处理，所述双向注意力机制模块对所述问题特征表示和所述第二编码子模块的处理结果进行双向注意力机制的处理。5.根据权利要求4所述的方法，其中，所述解码层包括一组解码模块，且一组所述解码模块包括依次连接的多个解码模块，上一所述解码模块的输出作为下一所述解码模块的输入，第一个所述解码模块的输入包括所述回复，最后一个所述解码模块的输出包括所述回复对应的预测结果；所述解码模块包括依次连接的第一解码子模块和至少一个第二解码子模块，所述第一解码子模块利用注意力机制对输入进行处理，第一个解码模块的所述第一解码子模块获取所述回复中已知部分以及待预测部分对应的回复特征表示，所述第二解码子模块的输入包2CN115080707A权利要求书2/4页括第一解码子模块或者上一第二解码子模块的输出以及对应的所述多模态特征表示，所述第二解码子模块用于对输入进行注意力机制的处理，最后一个解码模块的所述第二解码子模块的输出包括所述待预测部分的所述预测结果。6.一种对话生成方法，其中，包括：获取问题以及所述问题对应的目标对象的多模态数据；将所述问题以及所述多模态数据输入至对话生成模型，获取所述问题的目标回