基于改进深度残差网络和注意力机制的实体关系抽取方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110619121A(43)申请公布日2019.12.27(21)申请号201910880164.0(22)申请日2019.09.18(71)申请人江南大学地址214122江苏省无锡市滨湖区蠡湖大道1800号(72)发明人陈璟袁祯祺宋威(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204代理人向文(51)Int.Cl.G06F17/27(2006.01)G06F16/33(2019.01)G06F16/35(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图4页(54)发明名称基于改进深度残差网络和注意力机制的实体关系抽取方法(57)摘要本发明公开了一种基于改进深度残差网络和关系词注意力机制的实体关系抽取方法，包括如下步骤：通过对远程监督实体关系数据集的处理，将英文转换为词向量；获取关系词，并计算余弦相似度提取句子的关系词权重；分别引入分段和门控机制，形成分段的具有门模块的残差网络，采用分段门控残差网络对特征通道进行分段；在残差网络的后段最大池化层的基础上拼接平均池化层形成双池化层，用于保留句子结构特征；得到模型最终的句子特征；将得到的句子特征进行关系分类，得到输出实体关系。本发明将深度残差网络应用到关系提取的远程监督数据集上，通过加深网络层数，有效提高模型降噪能力，同时，提出了分段门控残差模块，有效提高了深度残差网络的性能。CN110619121ACN110619121A权利要求书1/3页1.基于改进深度残差网络和关系词注意力机制的实体关系抽取方法，其特征在于：包括如下步骤：S1：数据集处理：通过对远程监督实体关系数据集的处理，将英文转换为词向量；S2：自注意力机制：通过每个包中句子实体对的自注意力机制的输出来获取每句句子中隐藏的关系词，并计算余弦相似度从而提取句子的关系词权重；S3：分段门控残差网络：在原有深度残差网络的基础上改进去残差单元，分别引入分段和门控机制，形成分段的具有门模块的残差网络，采用分段门控残差网络对特征通道进行分段；S4：双池化层：在残差网络的后段最大池化层的基础上拼接平均池化层形成双池化层，用于保留句子结构特征；S5：将步骤S2得到的关系词权重与步骤S4得到的句子结构特征进行相乘，得到模型最终的句子特征；S6：模型预测与输出：将步骤S5得到的句子特征通过点积融合成传入Softmax层进行关系分类，最终得到结果输出实体关系。2.根据权利要求1所述的基于改进深度残差网络和关系词注意力机制的实体关系抽取方法，其特征在于：所述步骤S1中每个词的向量表示由两部分组成：词向量Vw和位置向量Vp，定义为V，词向量的具体表示方法如下：V＝Vw+VpSi＝{V1,V2,…,Vn}其中Vw为带有语义关联的词向量，Vp为带有位置信息的词向量，V为拼接后的词向量，Si是句子组成的集合。3.根据权利要求1所述的基于改进深度残差网络和关系词注意力机制的实体关系抽取方法，其特征在于：所述步骤S2的具体步骤如下：S2-1：利用自注意力机制提取句子中实体的自注意力权重，其公式如下：其中，Q为索引词，K为当前词，W为权重矩阵，用以训练Q，K的相似度权重；ai为索引Q和当前词K的softmax输出，将前一步的输出映射到和为1的概率空间；S2-2：通过余弦相似度进行排序，方程为：2CN110619121A权利要求书2/3页其中，xi和yi分别代表两个词的词向量，Wn为两个词向量的余弦相似度；S2-3：选出和其他关系词相似度最高的词语，公式为：Rw＝max(w1，w2，...，wn)S2-4：将包关系词与本句句子的关系词进行余弦相似度计算得出最终关系词权重。4.根据权利要求1所述的基于改进深度残差网络和关系词注意力机制的实体关系抽取方法，其特征在于：所述步骤S3具体为：S3-1：分段门控残差模块通过实体对特征通道进行分段，第z个通道的公式为：其中，uc为来自上层网络通过卷积后的特征通道，在空间维度H上，通过压缩u来产生输出属于uc的统计量zc；S3-2：将通道通过每句句子中实体的位置进行分段，形成3段特征通道：zc-→(e1，e2)-→(z1，z2，z3)其中，e1，e2为两个实体；S3-3：当特征通道压缩之后，分段门控残差模块采用门控机制，使用Sigmoid激活函数对zc产生权重，其中W1，W2为两个权重矩阵，如下式所示：s＝σ(W2δ(W1z))S3-4：分段门控残差模块的最终输出是将权重sc与上层卷积后的特征通道(z1，z2，z3)相乘后得到的，具体如下式所示：xc＝Fs((z1，z2，z3)，(s1，s2，s3))＝sc·zc。5.根据权利要求1所述的基于改进深度残差网络和关系词注意力