一种基于局部注意力机制记忆网络的问答方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110334195A(43)申请公布日2019.10.15(21)申请号201910559673.3(22)申请日2019.06.26(71)申请人北京科技大学地址100083北京市海淀区学院路30号(72)发明人黄仔琪孙振起(74)专利代理机构北京市广友专利事务所有限责任公司11237代理人张仲波(51)Int.Cl.G06F16/332(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书4页附图3页(54)发明名称一种基于局部注意力机制记忆网络的问答方法及系统(57)摘要本发明提供一种基于局部注意力机制记忆网络的问答方法及系统，所述问答方法包括以下步骤：根据提问句子和上下文记忆模块信息生成位置信息；根据生成的位置信息，计算提问句子和上下文记忆模块信息之间的相关概率分布；根据计算出的相关概率分布得到预测答案。本发明选择只关注上下文记忆模块信息的一小部分，来计算其和提问句子之间的相关性信息，让系统更加关注有用的信息，提高处理效率。此外，本发明引入了线性门控单元，在多层模型信息传递的过程中，可以有效地降低梯度色散，同时还保留了非线性的能力，具有较好的适用性。CN110334195ACN110334195A权利要求书1/1页1.一种基于局部注意力机制记忆网络的问答方法，其特征在于，包括以下步骤：S1、根据提问句子和上下文记忆模块信息生成位置信息；S2、根据生成的位置信息，计算提问句子和上下文记忆模块信息之间的相关概率分布；S3、根据计算出的相关概率分布得到预测答案。2.根据权利要求1所述的问答方法，其特征在于，所述步骤S1包括：根据以下公式生成位置信息pu：其中，S是上下文记忆模块的大小，pu∈[0，S]；Wa、vp是记忆网络模型训练过程中学习到的参数；q是提问句子中的单词信息，δ是sigmoid激活函数。3.根据权利要求2所述的问答方法，其特征在于，所述步骤S2包括：根据以下公式计算相关概率分布pi：其中D是预设的上下文记忆模块的窗口尺寸。4.根据权利要求1-3中任一项所述的问答方法，其特征在于，所述问答方法还包括：在多层结构的记忆网络模型的信息传递过程中，使用线性门控单元对每一层的传递信息进行降低梯度色散的处理。5.根据权利要求4所述的问答方法，其特征在于，所述线性门控单元根据以下公式对每一层的传递信息进行处理：其中，W、V、b、c是记忆网络模型训练过程中学习到的参数，是矩阵点积，ok是第k层的输出，uk是第k层的提问句子。6.一种基于局部注意力机制记忆网络的问答系统，其特征在于，包括：位置信息生成单元，用于根据提问句子和上下文记忆模块信息生成位置信息；相关概率分布计算单元，用于根据生成的位置信息，计算提问句子和上下文记忆模块信息之间的相关概率分布；预测单元，用于根据计算出的相关概率分布得到预测答案。7.根据权利要求6所述的问答系统，其特征在于，所述问答系统还包括：线性门控单元，用于在多层结构的记忆网络模型的信息传递过程中，对每一层的传递信息进行降低梯度色散的处理。2CN110334195A说明书1/4页一种基于局部注意力机制记忆网络的问答方法及系统技术领域[0001]本发明涉及自然语言处理技术领域，特别涉及一种基于局部注意力机制记忆网络的问答方法及系统。背景技术[0002]目前，端到端可训练记忆网络(MemN2N)在许多深层次学习领域里，特别是在基于模拟自然语言的推理问答(QA)任务中是非常有效的。然而，当它解决一些子任务，如基本归纳、路径查找和时间推理任务时，由于难以挖掘记忆模块和提问句子之间的有效信息，导致传统的记忆网络在这些任务上的效果并不理想。[0003]图1是传统的单层结构的端到端可训练记忆网络(MemN2N)的示意图，在匹配得分操作部分使用的是全局注意力机制(global-attention)，来计算上下文记忆模块向量mi和提问句子u之间的相关性信息，再经过Softmax层变换后，便可以得到上下文记忆模块向量mi和提问句子u之间的相关性概率分布p。[0004]然而，这种传统模式在计算内存和查询的相关性时，由于需要考虑到记忆网络全局所有句子的查询，导致过程复杂，费用昂贵。发明内容[0005]本发明要解决的技术问题是提供一种基于局部注意力机制记忆网络的问答方法及系统，能够快速有效地获取提问句子和记忆网络中语境之间的相关性信息，从而较大幅度的提升记忆网络的性能。[0006]为解决上述技术问题，本发明的实施例提供一种基于局部注意力机制记忆网络的问答方法，包括以下步骤：[0007]S1、根据提问句子和上下文记忆模块信息生成位置信息；[0008]S2、根据生成的位置信息，计算提问句子和上下文记忆