一种文本语义相似度计算方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113535914A(43)申请公布日2021.10.22(21)申请号202110654980.7(22)申请日2021.06.11(71)申请人中国海洋大学地址266100山东省青岛市崂山区松岭路238号中国海洋大学(72)发明人许晓伟张善平王晓东曹媛(74)专利代理机构青岛联智专利商标事务所有限公司37101代理人王笑(51)Int.Cl.G06F16/332(2019.01)G06F40/289(2020.01)G06F40/30(2020.01)权利要求书1页说明书9页附图2页(54)发明名称一种文本语义相似度计算方法(57)摘要本发明公开了一种文本语义相似度计算法方法，包括：将文本转化为向量矩阵，利用SiameseBiLSTM网络并结合Co‑Attention机制，得到包含文本交互信息的全局特征矩阵，利用CapsNet网络提取文本的局部特征，并使用SENet网络自动校准每个局部特征的重要程度，得到文本的局部特征矩阵；将全局特征矩阵和局部特征矩阵融合后再一次使用BiLSTM网络提取上下文信息，得到两个文本的相似度矩阵，最后通过融合、池化、全连接层判断文本的语义相似度，充分提取文本的有效特征信息；因为提取到了待匹配文本的交互信息，同时保留了文本的有价值信息，提高了文本语义相似度计算的准确性。CN113535914ACN113535914A权利要求书1/1页1.一种文本语义相似度计算方法，其特征在于，包括：步骤1、将文本转化为向量矩阵；步骤2、利用SiameseBiLSTM网络提取文本的全局特征，并结合Co‑Attention机制提取包含文本交互信息的全局特征矩阵；步骤3、对向量矩阵使用CapsNet提取文本的局部特征，使用SENet网络校准每个局部特征的重要程度，得到局部特征矩阵；步骤4、对全局特征矩阵和局部特征矩阵进行融合，使用BILSTM网络提取上下文信息，得到两个文本的语义相似度矩阵；步骤5、对两个语义相似度矩阵进行融合，通过池化、全连接层判断两个文本的语义相似度。2.根据权利要求1所述的文本语义相似度计算方法，其特征在于，步骤1具体包括：将句子的长度截取为m，使用n维预训练的GloVe模型进行词嵌入，将文本表示为含有语义信息的m*n向量矩阵。3.根据权利要求1所述的文本语义相似度计算方法，其特征在于，步骤2具体包括：使用共享参数的SiameseBiLSTM网络提取文本的全局特征，得到两个文本的全局特征矩阵M和N；使用Co‑Attention机制结合全局特征矩阵M和N，得到矩阵L＝MT*N；对L分别按行和按列求softmax，得到第一文本对第二文本的attention矩阵AN＝softmax(L)和AM＝softmax(LT)；将attention应用到第二文本中，在基于加入attention之后的第二文本的信息生成第一文本的attention矩阵CN＝M*AN和CM＝CN*AM，得到含有交互信息的全局特征矩阵。4.根据权利要求1所述的文本语义相似度计算方法，其特征在于，使用SENet网络校准每个局部特征的重要程度，具体包括：将CapsNet网络DigitCaps层的输出作为文本局部特征矩阵，将其输入到SENet网络中，构建SECapsNet网络对文本的局部特征进行校准。5.根据权利要求3所述的语义相似度计算方法，其特征在于，使用共享参数的SiameseBiLSTM网络提取文本的全局特征，得到两个文本的全局特征矩阵M和N，具体为：使用两个LSTM分别从前后两个方向进行运算，BiLSTM在t时刻的输出为：其中，表示t时刻前向LSTM的输出，表示t时刻后向LSTM的输出，wf和Wb分别为前向LSTM和后向LSTM的隐藏层状态，bt表示偏置量，ht表示BiLSTM在t时刻的输出。2CN113535914A说明书1/9页一种文本语义相似度计算方法技术领域[0001]本发明属于自然语言处理技术领域，具体地说，是涉及一种基于特征自适应校准和Co‑attention机制的文本语义相似度计算方法。背景技术[0002]随着互联网技术的快速为了使计算机能够更好的理解人类的意图，从海量的文本信息中返回给人类需要的信息，自然语言处理成为研究的热门领域。发展和社交网络的普遍应用，微博、影评、新闻等文本信息呈现爆发式增长。[0003]文本语义相似度计算是自然语言处理领域中的基础性任务，在信息检索、文本分类、问答系统等方面发挥着不可替代的作用，因此，进行文本相似度计算的研究具有十分重要的意义。[0004]近几年的文本语义相似度的研究工作可以分为三类：一是基于关键词和字符串匹配的传统方法；Kondrak提出N‑Gram模型来计算文本的相似度，通过计算两个文本中公共N元