一种用于人机对话系统的回复生成方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111460126A(43)申请公布日2020.07.28(21)申请号202010533197.0G06N3/08(2006.01)(22)申请日2020.06.12(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人梁忠平温祖杰张琳(74)专利代理机构北京风雅颂专利代理有限公司11403代理人王刚(51)Int.Cl.G06F16/332(2019.01)G06F40/289(2020.01)G06F40/30(2020.01)G06F40/253(2020.01)G06N3/04(2006.01)权利要求书3页说明书9页附图7页(54)发明名称一种用于人机对话系统的回复生成方法、装置及电子设备(57)摘要本说明书一个或多个实施例提供一种用于人机对话系统的回复生成方法、装置及电子设备，通过预先训练的回复生成模型，将用户与机器人的问题和回复输入，通过第一编码器层进行自注意力和局部掩码处理，使模型充分利用问题和回复各自语句内的语义特征，再通过第二编码器层自注意力和全局掩码处理，使得模型充分利用当前以及之前的所有问题和回复的上下文语义特征，并基于第二编码器层的输出来生成对应于用户当前问题的当前回复。CN111460126ACN111460126A权利要求书1/3页1.一种用于人机对话系统的回复生成方法，包括：获取用户与机器人之间按对话顺序依次排列的问题和回复，并输入预先训练的回复生成模型；其中，所述问题包括历史问题和当前问题；所述回复生成模型包括：词嵌入层、第一编码器层、第二编码器层和解码器层；在所述词嵌入层，对所述问题和回复进行词嵌入处理，生成所述问题中各个词分别对应的问题词向量以及所述回复中各个词分别对应的回复词向量；在所述第一编码器层，根据所述问题词向量和所述回复词向量，采用自注意力机制和局部掩码处理，生成所述问题中各个词分别对应的问题局部特征向量以及所述回复中各个词分别对应的回复局部特征向量；对于任一问题中的任一词，所述局部掩码处理使该词仅与同一问题内的各个词之间存在注意力值；对于任一回复中的任一词，所述局部掩码处理使该词仅与同一回复内且其之前的各个词之间存在注意力值；在所述第二编码器层，根据所述问题局部特征向量和所述回复局部特征向量，采用自注意力机制和全局掩码处理，生成所述回复中各个词分别对应的回复全局特征向量；对于任一回复中的任一词，所述全局掩码处理使该词仅与其所属回复中之前的各个词以及其所属回复之前的全部问题和回复中的各个词之间存在注意力值；在所述解码器层，根据所述回复全局特征向量，生成对应于所述当前问题的当前回复。2.根据权利要求1所述的方法，所述第一编码器层有至少两个且依次连接；其中，位于首位的第一编码器层的输入为所述问题词向量和所述回复词向量；其他第一编码器层的输入为前一第一编码器层输出的问题局部特征向量和回复局部特征向量；位于末位的第一编码器层输出的问题局部特征向量和回复局部特征向量输入所述第二编码器层。3.根据权利要求2所述的方法，在所述第二编码器层，还根据所述问题局部特征向量和所述回复局部特征向量，采用自注意力机制和全局掩码处理，生成所述问题中各个词分别对应的问题全局特征向量；对于任一问题中的任一词，所述全局掩码处理使该词仅与其所属问题中的各个词以及其所属问题之前的全部问题和回复中的各个词之间存在注意力值；所述第二编码器层有至少两个且依次连接；其中，位于首位的第二编码器层的输入为所述问题局部特征向量和所述回复局部特征向量；其他第二编码器层的输入为前一第二编码器层输出的问题全局特征向量和回复全局特征向量；位于末位的第二编码器层输出的回复局部特征向量输入所述解码器层。4.根据权利要求1所述的方法，所述自注意力机制和局部掩码处理，包括：生成所述问题和回复中的各个词分别对应的第一隐状态；根据所述第一隐状态构建第一注意力值矩阵；所述第一注意力值矩阵中的注意力值为相应的两个词的第一隐状态的点积；生成与所述第一注意力值矩阵大小相同的局部掩码矩阵；所述局部掩码矩阵中，用于掩码的位置赋值为负无穷，其他位置赋值为零；将所述局部掩码矩阵与所述第一注意力值矩阵相加，根据相加的结果，生成所述问题局部特征向量和所述回复局部特征向量。5.根据权利要求4所述的方法，所述自注意力机制和全局掩码处理，包括：生成所述问题和回复中的各个词分别对应的第二隐状态；根据所述第二隐状态构建第二注意力值矩阵；所述第二注意力值矩阵中的注意力值为2CN111460126A权利要求书2/3页相应的两个词的第二隐状态的点积；生成与所述第二注意力值矩阵大小相同的全局掩码矩阵；所述全局掩码矩阵中，用于掩码的位置赋值