一种多轮对话方法、装置及电子设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114911911A(43)申请公布日2022.08.16(21)申请号202110180487.6(22)申请日2021.02.08(71)申请人中国移动通信有限公司研究院地址100053北京市西城区宣武门西大街32号申请人中国移动通信集团有限公司(72)发明人杜晓宇(74)专利代理机构北京银龙知识产权代理有限公司11243专利代理师黄灿左晓菲(51)Int.Cl.G06F16/332(2019.01)G06F16/33(2019.01)G06F40/216(2020.01)G06N3/04(2006.01)权利要求书2页说明书13页附图3页(54)发明名称一种多轮对话方法、装置及电子设备(57)摘要本发明提供一种多轮对话方法、装置及电子设备，涉及人工智能技术领域，其中，多轮对话方法包括：接收用户在多轮对话过程中输入的第一对话内容；根据所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容，预测第一当前对话状态；基于所述第一当前对话状态确定所述第一对话内容对应的回复内容；输出所述第一对话内容对应的回复内容。本发明实施例利用对话的历史信息预测第一当前对话状态，能够提高状态追踪的准确性，从而能够提高进行多轮对话的对话效果。CN114911911ACN114911911A权利要求书1/2页1.一种多轮对话方法，其特征在于，所述方法包括：接收用户在多轮对话过程中输入的第一对话内容；根据所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容，预测第一当前对话状态；基于所述第一当前对话状态确定所述第一对话内容对应的回复内容；输出所述第一对话内容对应的回复内容。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容，预测第一当前对话状态，包括：将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入预先训练的用于状态追踪的第一神经网络模型，输出第一对话状态概率分布；基于所述第一对话状态概率分布预测第一当前对话状态；所述基于所述第一当前对话状态确定所述第一对话内容对应的回复内容，包括：将所述第一当前对话状态输入预先训练的用于回复解码的第二神经网络模型，输出第一回复内容概率分布；基于所述第一回复内容概率分布确定所述第一对话内容对应的回复内容。3.根据权利要求2所述的方法，其特征在于，所述第一神经网络模型包括用于编码的第一神经网络子模型和用于状态解码的第二神经网络子模型，所述将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入预先训练的用于状态追踪的第一神经网络模型，输出第一对话状态概率分布，包括：将所述第一对话内容、与所述第一对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络子模型，输出编码内容；将所述编码内容输入所述第二神经网络子模型，输出第一对话状态概率分布。4.根据权利要求2所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型在训练过程中的训练样本包括有标签数据和无标签数据。5.根据权利要求4所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型在所述有标签数据下的训练过程如下：将第二对话内容、与所述第二对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络模型，输出第二对话状态概率分布，所述第二对话内容属于有标签数据；基于所述第二对话状态概率分布预测第二当前对话状态；将所述第二当前对话状态输入所述第二神经网络模型，输出第二回复内容概率分布；基于所述第二回复内容概率分布确定所述第二对话内容对应的回复内容；将所述第二对话内容对应的回复内容、第二对话内容、与所述第二对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络模型，输出第三对话状态概率分布；基于所述第二回复内容概率分布、所述第二对话状态概率分布、所述第三对话状态概率分布和所述第二对话内容对应的对话状态标签及回复内容标签计算最大似然估计值；基于所述最大似然估计值对所述第一神经网络模型和所述第二神经网络模型进行联合训练。6.根据权利要求4所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型在所述无标签数据下的训练过程如下：2CN114911911A权利要求书2/2页将第三对话内容、与所述第三对话内容对应的历史对话状态以及历史对话内容输入所述第一神经网络模型，输出第四对话状态概率分布，所述第三对话内容属于无标签数据；基于所述第四对话状态概率分布预测第三当前对话状态；将所述第三当前对话状态输入所述第二神经网络模型，输出第三回复内容概率分布；基于所述第三回复内容概率分布确定所述第三对话内容对应的回复内容；将所述第三对话内容