一种基于层次化记忆网络的问答方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106126596A(43)申请公布日2016.11.16(21)申请号201610447676.4(22)申请日2016.06.20(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人许家铭石晶姚轶群徐波(74)专利代理机构中科专利商标代理有限责任公司11021代理人任岩(51)Int.Cl.G06F17/30(2006.01)G06F17/27(2006.01)权利要求书3页说明书9页附图4页(54)发明名称一种基于层次化记忆网络的问答方法(57)摘要本发明提供了一种基于层次化记忆网络的问答方法，首先进行句粒度记忆编码，并在问题语义编码的刺激下，通过多轮迭代的注意力机制完成句粒度记忆单元的信息推理，通过k最大采样对句子进行筛选，在句粒度记忆编码的基础上还进行词粒度记忆编码，即在两个层次进行记忆编码，形成层次化的记忆编码，利用句粒度和词粒度记忆单元联合预测输出词概率分布，提高了自动问答的准确性，有效解决了低频词和未登录词的答案选择问题。CN106126596ACN106126596A权利要求书1/3页1.一种基于层次化记忆网络的问答方法，其特征在于，包括：步骤S101：融合词的位置和句子的时间序列信息，对句子集合中的句子进行句粒度记忆编码，得到句粒度记忆单元的双通道记忆编码；步骤S102：在问题语义编码的刺激下，通过多轮迭代的注意力机制完成所述句粒度记忆单元的信息推理，得到所述句粒度记忆单元上在词典维度的输出词概率分布；步骤S103：对所述句粒度记忆单元的信息推理结果进行k最大采样，从所述句子集合中筛选出k最大采样重要句子集合；步骤S104：利用双向循环神经网络模型对所述句子集合进行词粒度记忆编码，得到词粒度记忆单元的记忆编码；步骤S105：基于所述问题语义编码、词粒度记忆单元的记忆编码和k最大采样重要句子集合，通过注意力机制得到词粒度输出词概率分布；以及步骤S106：从句粒度和词粒度记忆单元中联合预测输出词概率分布，并利用交叉熵进行监督训练。2.如权利要求1所述的问答方法，其特征在于，所述步骤S101包括：子步骤S101a：给定具有时间序列信息的句子集合X＝{xi}i＝(1，2，...，n)，随机初始化词向量矩阵和句子xi中的词xij的双通道向量化编码为和其中，i为句子的当前时间序列；n为句子集合的最大时间序列长度；|V|为词典维度；d为词向量的维度；j为词在句子xi中的位置信息；子步骤S101b：根据词在句子中的位置信息对双通道词向量化编码进行更新；以及子步骤S101c：融合句子的时间序列信息对句子进行句粒度记忆编码，得到句粒度记忆单元的双通道记忆编码。3.如权利要求2所述的问答方法，其特征在于，所述子步骤S101b包括：更新后的双通道词向量化编码为lgj·(Axij)和lgj·(Cxij)，其中，lgj＝(1-j/Ji)-(g/d)(1-2j/Ji)(1)其中，Ji是句子xi中词的个数，而g为维度为d的词向量中的当前维度值，且1≤j≤J和1≤g≤d。4.如权利要求3所述的问答方法，其特征在于，所述子步骤S101c包括：随机初始化句子的时间向量矩阵和则句粒度记忆单元的双通道记(S)忆编码为M＝{{ai}，{ci}}，其中，ai＝∑jlj·(Axij)+TA(i)(2)ci＝∑jlj·(Cxij)+TC(i)(3)其中，lj为中更新矩阵l在句子xi中第j个词的更新向量；操作符·为向量间元素乘法操作；n为句子集合的最大时间序列长度；d为时间向量维度，与词向量的维度相同。5.如权利要求4所述的问答方法，其特征在于，所述步骤S102包括：子步骤S102a：利用词向量矩阵对问题文本q中第j个词qj进行向量化表示得到问题语义编码：2CN106126596A权利要求书2/3页其中，lj为更新矩阵l在句子xi中第j个词的更新向量；子步骤S102b：计算问题语义编码在句粒度记忆单元的注意力权重在问题语义编码刺激下，句粒度记忆单元的双通道记忆编码的激活信息为：以及子步骤S102c：通过多轮迭代的注意力机制完成在句粒度记忆单元的信息推理，得到句粒度记忆单元上在词典维度的输出词概率分布。6.如权利要求5所述的问答方法，其特征在于，所述子步骤S102c包括：在句粒度记忆单元上进行R轮信息激活，得到第R轮的激活信息OR，其中，在第r+1轮信息激活中，其中，1≤r≤(R-1)；Ar+1＝Cr，句粒度记忆单元上在词典维度的输出词概率分布为：其中，w＝{wt}t＝(1，2，...，|V|)为词典维度词集合；为第R轮信息激活的词向量矩阵；T为转置操作符。7.如权利要求6所述的问答方法，其特征在于，所述步骤S103包括：子步骤S103a：对