一种基于对话历史建模的多轮对话生成方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112966083A(43)申请公布日2021.06.15(21)申请号202110259589.7G06F40/30(2020.01)(22)申请日2021.03.10G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人中国人民解放军国防科技大学地址410073湖南省长沙市开福区德雅路109号(72)发明人凌艳香蔡飞陈洪辉杨文静梁政张清辉王天琦陶卿曌(74)专利代理机构西安亿诺专利代理有限公司61220代理人李永刚(51)Int.Cl.G06F16/332(2019.01)G06F16/33(2019.01)G06F40/126(2020.01)G06F40/242(2020.01)权利要求书4页说明书16页附图2页(54)发明名称一种基于对话历史建模的多轮对话生成方法及装置(57)摘要一种基于对话历史建模的多轮对话生成方法及装置，属于人工智能领域，其特征在于，利用对话历史中各语句之间的显式回复关系对对话历史的语义表示过程进行优化获取近邻感知的对话历史语义表示；利用面向对话历史的注意力机制使查询语句自动从对话历史中吸收相关语义信息，得到对话历史增强的查询语义表示；再根据本申请新增的近邻感知的对话历史语义表示、及对话历史增强的查询语义表示通过神经网络逐词生成回复语句，能够有效捕捉对话历史中篇章级别的连贯语义关系，缓解对话历史建模的长期依赖问题和记忆延迟问题，并充分挖掘了查询语句在捕捉当前对话焦点时的重要作用，使得所生成的对话具备更好的上下文一致性和信息丰富性。CN112966083ACN112966083A权利要求书1/4页1.一种基于对话历史建模的多轮对话生成方法，其特征在于包括：通过神经网络，获得对话历史中每个语句的初始词级语义表示；利用对话历史中各语句之间的显式回复关系对对话历史的语义表示过程进行优化，获取近邻感知的对话历史语义表示；将对话历史中的最新语句定义为查询语句，先利用自注意力机制捕捉查询语句中词之间的关系，然后利用面向对话历史的注意力机制使查询语句自动从对话历史中吸收相关语义信息，得到对话历史增强的查询语义表示；根据近邻感知的对话历史语义表示、对话历史增强的查询语义表示，通过神经网络逐词生成回复语句。2.根据权利要求1所述基于对话历史建模的多轮对话生成方法，其特征在于：所述获得对话历史中每个语句的初始词级语义表示通过双向门控循环神经网络实现；所述生成回复语句通过单向门控循环神经网络实现。3.根据权利要求1所述基于对话历史建模的多轮对话生成方法，所述对对话历史的语义表示过程进行优化，其特征在于：对对话历史中的任一历史语句进行重编码，使之能够保留其相邻历史语句的语义信息，通过轮次方向上的顺序整合进而获取近邻感知的对话历史语义表示。4.根据权利要求1所述基于对话历史建模的多轮对话生成方法，所述通过神经网络，获得对话历史中每个语句的初始词级语义表示，其特征在于：给定包含M条语句的多轮对话{U1,...,UM}，M≥2，其中最后一条最新语句UM定义为查询语句，前M‑1条语句序列U＜M＝{U1,...,UM‑1}定义为对话历史；多轮对话生成就是通过计算条件概率P(UM+1∣U＜M；UM)来根据对话历史以及查询语句来生成回复语句UM+1；设回复UM+1包含NM+1个词，即则条件概率P(UM+1∣U＜M；UM)可分解为：其中wn,M+1表示回复UM+1中第n个位置的词；w＜n,M+1表示回复UM+1中前n‑1个词，即w＜n,M+1＝(w1,M+1,...,wn‑1,M+1)；多轮对话{U1,...,UM}中任一语句Um(m∈[1,M])包含Nm个词，即通过双向门控循环神经网络将每个词wn,m(n∈[1,Nm])编码为一向量，计算过程如下：其中表示词对应的随机初始化的词向量；和分别表示前向和后向循环神经网络得到的词wn,m对应的向量；为词wn,m最终的向量表示；Um的初始词级语义被表示为一个向量序列，即5.根据权利要求4所述基于对话历史建模的多轮对话生成方法，所述利用对话历史中2CN112966083A权利要求书2/4页各语句之间的显式回复关系对对话历史的语义表示过程进行优化，其特征在于：对于Um中的任一词wn,m(n∈[1,Nm])，通过前向Transformer编码器将其进行如下重编码：其中，q，k，v分别为Transformer编码器中注意力机制对应的查询向量、键向量和值向量；对于第一个语句U1，设置Transformer编码器的注意力机制变为自注意力机制；同理，对于后向Transformer编码器重编码过程为：以上和分别表示词wn,m(n∈[1,Nm])经过和重编码后的向量表示；通过特征维度的向量拼接操作zn,m为