多轮对话处理方法、装置和设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110032633A(43)申请公布日2019.07.19(21)申请号201910308669.X(22)申请日2019.04.17(71)申请人腾讯科技（深圳）有限公司地址518044广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人耿瑞莹孟凡东牛成周杰(74)专利代理机构北京同达信恒知识产权代理有限公司11291代理人郭润湘李娟(51)Int.Cl.G06F16/332(2019.01)G06F16/35(2019.01)G06F17/27(2006.01)权利要求书2页说明书10页附图5页(54)发明名称多轮对话处理方法、装置和设备(57)摘要本发明公开了一种多轮对话处理方法、装置和设备，属于自然语言处理技术领域，用于提高多伦对话的准确性。在该方法中，在编码阶段将结构化的知识图谱和非机构化的文本结合。也即，在编码阶段将知识多元组和对话历史以及背景知识相结合，得到的编码结果能够涵盖对话历史、对话背景和对话中实体之间的关系，由此得到的编码结果信息更丰富，能够使得编码结果更加准确。这样，根据更加准确的编码结果在解码阶段能够得到更好的应答。CN110032633ACN110032633A权利要求书1/2页1.一种多轮对话处理方法，其特征在于，所述方法包括：生成待分析文本的向量表示；根据所述向量表示与记忆网络进行交互，获取与所述待分析文本相关的第一知识多元组、背景知识和对话历史记忆，以及分别对应的权重；根据分别对应的权重，对所述第一知识多元组、背景知识和所述对话历史记忆进行加权求和；将加权求和结果和所述向量表示进行求和后，输入给目标解码模块得到针对所述待分析文本的应答内容。2.根据权利要求1所述的方法，其特征在于，生成待分析文本的向量表示，包括：对所述待分析文本进行分词处理，得到所述待分析文本中的实体词和非实体词；针对实体词，在知识图库中，查找各实体词对应的第二知识多元组，并对第二知识多元组采用图注意graphattention方式进行编码；针对非实体词，将其转化为词向量；按照实体词和非实体词在所述待分析文本中的位置，对编码得到的第二知识多元组和词向量进行拼接得到所述待分析文本的初始向量；将初始向量通过双向循环神经网络进行编码得到所述待分析文本的向量表示。3.根据权利要求1所述的方法，其特征在于，所述输入给目标解码模块得到针对所述待分析文本的应答内容之前，还包括：将加权求和结果和所述向量表示进行求和得到的结果输入给分类器；根据分类器的输出结果，从至少两种不同的解码模块中选择所述目标解码模块。4.根据权利要求3所述的方法，其特征在于，所述解码模块包括以下中的至少两种：使用LSTM生成模型在整个词典上生成预测分布的第一解码模块；使用指针网络指向对话记忆、从对话记忆中拷贝copy单词作为记忆分布的第二解码模块；使用指针网络指向对话记忆，从对话记忆中copy一段序列的第三解码模块。5.根据权利要求1所述的方法，其特征在于，所述记忆网络包括：将对话过程中涉及到的实体关系多元组，经过编码后以记忆memory矩阵的形式存储得到多元组知识记忆；获取所述对话过程中的相关背景知识内容，将背景知识内容编码后以memory矩阵的形式存储得到背景知识记忆；对多轮对话的每个轮次的对话经过编码后以memory矩阵的形式存储得到对话历史记忆；所述根据所述向量表示与记忆网络进行交互，获取与所述待分析文本相关的第一知识多元组、背景知识和对话历史记忆，包括：从多元组知识记忆中获取所述第一知识多元组，从背景知识记忆中获取所述背景知识，从对话历史记忆中获取所述对话历史记忆。6.根据权利要求1所述的方法，其特征在于，将加权求和结果和所述向量表示进行求和后，所述方法还包括：得到求和结果后对计数值累加指定值；2CN110032633A权利要求书2/2页若计数值小于设定的循环次数，则将求和结果作为新的向量表示后返回执行根据所述向量表示与记忆网络进行交互，获取与所述待分析文本相关的第一知识多元组、背景知识和对话历史记忆，以及分别对应的权重的步骤；若计数值大于或等于设定的循环次数，则将求和结果输入给目标解码模块得到针对所述待分析文本的应答内容。7.根据权利要求1-6中任一所述的方法，其特征在于，获取与所述第一知识多元组、背景知识和所述对话历史记忆分别对应的权重，包括：采用记忆注意力机制memoryattention确定与所述第一知识多元组、背景知识和所述对话历史记忆分别对应的权重。8.一种多轮对话处理装置，其特征在于，所述装置包括：向量表示生成单元，用于生成待分析文本的向量表示；交互单元，用于根据所述向量表示与记忆网络进行交互，获取与所述待分析文本相关的第一知识多元组、背景知识和对话历史记忆，