一种基于多源聚合神经网络的知识图谱补全方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116028639A(43)申请公布日2023.04.28(21)申请号202211602937.7G06N3/0464(2023.01)(22)申请日2022.12.13G06N3/048(2023.01)G06N3/08(2023.01)(71)申请人重庆邮电大学地址400065重庆市南岸区黄桷垭崇文路2号(72)发明人胡敏李超黄宏程(74)专利代理机构北京同恒源知识产权代理有限公司11275专利代理师方钟苑(51)Int.Cl.G06F16/36(2019.01)G06F16/33(2019.01)G06F40/295(2020.01)G06F40/30(2020.01)G06N3/0442(2023.01)权利要求书2页说明书7页附图1页(54)发明名称一种基于多源聚合神经网络的知识图谱补全方法(57)摘要本发明涉及一种基于多源聚合神经网络的知识图谱补全方法，属于自然语言处理领域，包括以下步骤：S1：对头实体和尾实体进行特征提取，利用卷积传播网络进行多次迭代，获取实体的上下文语义特征；S2：利用随机游走的方法构建从头实体到尾实体的关系路径，采用双向门口循环单元网络BiGRU，提取实体对之间的每个关系路径的语义特征；S3：利用注意力聚合方案，根据实体的上下文语义特征将给定实体对的不同关系路径语义向量进行有效聚合，得到实体对最终的关系路径特征；将上下文语义特征和最终的关系路径特征进行融合，利用softmax函数推断给定实体间可能存在的关系，完成知识图谱补全。本发明提高了特征学习能力。CN116028639ACN116028639A权利要求书1/2页1.一种基于多源聚合神经网络的知识图谱补全方法，其特征在于：包括以下步骤：S1：对头实体和尾实体进行特征提取，利用卷积传播网络进行多次迭代，获取实体的上下文语义特征；S2：利用随机游走的方法构建从头实体到尾实体的关系路径，采用双向门口循环单元网络BiGRU，提取实体对之间的每个关系路径的语义特征；S3：利用注意力聚合方案，根据实体的上下文语义特征将给定实体对的不同关系路径语义向量进行有效聚合，得到实体对最终的关系路径特征；将上下文语义特征和最终的关系路径特征进行融合，利用softmax函数推断给定实体间可能存在的关系，完成知识图谱补全。2.根据权利要求1所述的基于多源聚合神经网络的知识图谱补全方法，其特征在于：步骤S1具体包括以下步骤：S11：对于知识图谱K＝{E，R，G}中的三元组G＝(h，r，t)，其中E代表实体，R代表实体之间的关系集合，G＝(h，r，t)为三元组，G表示知识图谱K中正确的实体关系，h∈E表示头实体，t∈E表示尾实体，r∈R表示头尾实体之间的关系；利用向量表示方式将所述三元组转换为k阶向量表示形式A表示由知识图谱K中第i个三元组转换成的三阶向量矩阵，(eh，r，et)分别表示(h，r，t)的k维向量；S12：基于卷积传播网络，利用多个卷积核ω1×3对矩阵A的每一行做卷积操作，输出一系列特征图，再利用ω1×1卷积核降低通道数量，从而得到关系r在第i+1次迭代后的语义表示，其传播函数如下：其中，α为非线性激活函数ReLU，b为偏置向量，为头实体第i次迭代的语义向量，ri为头尾实体关系第i次迭代的语义向量，为尾实体第i次迭代的语义向量；更新函数如下：其中，N(r)为所有与实体相连的关系集合。3.根据权利要求2所述的基于多源聚合神经网络的知识图谱补全方法，其特征在于：步骤S2具体包括以下步骤：S21：给定实体对h，t之间的路径表示为L＝[h，r1，e1，r2，e2，...rn，t]，其中ei为路径中的实体；只保留路径中的关系，移除路径中的实体，将关系路径定义为l＝[r1，r2，r3，...rn]，ri∈l，，将l∈lh，t定义为头尾实体所有路径的集合；S22：基于GRU的循环神经网络利用重置门和更新门，实现信息流动的控制，所述重置门计算方式如下：iii‑1R＝sigmoid(xw1+hw2+b1)(3)所述更新门的计算方式如下：iii‑1Z＝sigmoid(xw3+hw4+b2)(4)ii‑1其中w1、w3为当前输入x的权重，w2、w4为历史信息h的权重，通过sigmoid函数将输出2CN116028639A权利要求书2/2页值归一化到0和1之间，sigmoid方程计算方法如下：S23：计算隐藏层状态，GRU单元通过将当前时刻重置门与前一时刻GRU隐藏状态做矩阵运算，即矩阵的对应元素相乘，其计算公式如下：iii‑1h`＝tanh(xw5+(R*h)w6+b3)(6)其中w5、w6均为可学习的权重参数，b3为偏置向量；S24：在获得候选隐藏层状态后，GRU最终的隐藏层状态定义为：hi＝(1‑Zi)*hi‑