针对多轮对话生成回复语句的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111400481A(43)申请公布日2020.07.10(21)申请号202010410108.3(22)申请日2020.05.15(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人林谢雄简葳玙何建杉王太峰(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人孙欣欣周良玉(51)Int.Cl.G06F16/332(2019.01)权利要求书3页说明书9页附图4页(54)发明名称针对多轮对话生成回复语句的方法和装置(57)摘要本说明书实施例提供一种针对多轮对话生成回复语句的方法和装置，方法包括：获取历史上下文；对历史上下文基于注意力机制进行编码，得到历史上下文对应的上下文向量，以及历史上下文对应的第一分词序列的编码注意力分布；对候选知识集合中的各候选知识基于注意力机制进行编码，得到候选知识集合对应的知识融合向量，以及候选知识集合对应的第二分词序列的知识注意力分布；针对回复语句进行逐词预测，其中每次预测包括：对于扩充词表中每个候选词，得到将该候选词作为下一个词的预测概率；扩充词表包括，用于生成候选词的初始词表，第一分词序列中各分词，以及第二分词序列中各分词。在针对多轮对话生成回复语句时能够处理词汇不足单词。CN111400481ACN111400481A权利要求书1/3页1.一种针对多轮对话生成回复语句的方法，所述方法包括：获取多轮对话中包含当前用户问句的历史上下文；对所述历史上下文基于注意力机制进行编码，得到所述历史上下文对应的上下文向量，以及所述历史上下文对应的第一分词序列的编码注意力分布；对候选知识集合中的各候选知识基于注意力机制进行编码，得到所述候选知识集合对应的知识融合向量，以及所述候选知识集合对应的第二分词序列的知识注意力分布；针对回复语句进行逐词预测，其中每次预测包括：通过指针生成网络，分别生成当前的第一指针和第二指针，第一指针指示根据历史上下文生成下一个词的概率，第二指针指示根据候选知识集合生成下一个词的概率；对于扩充词表中每个候选词，至少根据所述上下文向量、所述知识融合向量预测生成该候选词的第一概率；根据第一指针和编码注意力分布，确定从历史上下文中复制该候选词的第二概率，根据第二指针和知识注意力分布，确定从候选知识集合中复制该候选词的第三概率，并根据所述第一概率，第二概率和第三概率，得到将该候选词作为下一个词的预测概率；其中所述扩充词表包括，用于生成候选词的初始词表，第一分词序列中各分词，以及第二分词序列中各分词；根据扩充词表中各个词的预测概率，预测下一个词。2.如权利要求1所述的方法，其中，所述历史上下文还包括至少一轮的历史用户问句和历史回复语句。3.如权利要求1所述的方法，其中，所述对候选知识集合中的各候选知识基于注意力机制进行编码之前，所述方法还包括：提取所述历史上下文中的实体词或关键词；根据所述实体词或关键词，确定与所述历史上下文相关的所述候选知识集合。4.如权利要求1所述的方法，其中，所述候选知识包括：句子形式的候选知识或三元组形式的候选知识；所述三元组形式的候选知识包括能够扩充为句子的三个实体词或关键词。5.如权利要求1所述的方法，其中，所述对候选知识集合中的各候选知识基于注意力机制进行编码，包括：对候选知识集合中的各候选知识分别基于注意力机制进行编码，得到所述各候选知识分别对应的单条知识向量，以及各候选知识分别对应的分词序列的注意力分布；针对各单条知识向量，基于注意力机制进行编码，得到所述候选知识集合对应的知识融合向量；以及根据各候选知识分别对应的分词序列的注意力分布，进行综合处理，得到所述候选知识集合对应的第二分词序列的知识注意力分布。6.如权利要求1所述的方法，其中，所述通过指针生成网络，分别生成当前的第一指针和第二指针，包括：通过指针生成网络，根据所述上下文向量、前一个词的解码状态、以及前一个词对应的词向量和所述上下文向量的组合向量，生成当前的第一指针；通过指针生成网络，根据所述知识融合向量、前一个词的解码状态、以及前一个词对应的词向量和所述知识融合向量的组合向量，生成当前的第二指针。7.如权利要求1所述的方法，其中，所述根据所述第一概率，第二概率和第三概率，得到2CN111400481A权利要求书2/3页将该候选词作为下一个词的预测概率，包括：当该候选词存在于所述初始词表中，且不存在于所述第一分词序列中，且不存在于所述第二分词序列中，根据所述第一概率，得到将该候选词作为下一个词的预测概率。8.如权利要求1所述的方法，其中，所述根据所述第一概率，第二概率和第三概率，得到将该候选词作为下一个词的预测概率，包括：当该候选词存