融合实体类型的BERT知识图谱补全方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116010622A(43)申请公布日2023.04.25(21)申请号202310047134.8(22)申请日2023.01.31(71)申请人湖南视觉伟业智能科技有限公司地址410000湖南省长沙市高新开发区麓天路28号金瑞麓谷科技园C11栋202(72)发明人夏东(74)专利代理机构长沙朕扬知识产权代理事务所(普通合伙)43213专利代理师马家骏(51)Int.Cl.G06F16/36(2019.01)G06F16/35(2019.01)G06N3/0455(2023.01)G06N3/08(2023.01)权利要求书2页说明书7页附图2页(54)发明名称融合实体类型的BERT知识图谱补全方法及系统(57)摘要本发明公开了融合实体类型的BERT知识图谱补全方法及系统，将实体信息的外部知识即实体类型作为实体信息的补充，更好地获取实体的语义信息，提高模型输入端的文本增强表示，使用多头注意力机制的Transformer编码器实现特征获取和序列编码，使用少量的标注三元组进行微调，有效实现隐含关系的挖掘，实现快速、准确的对多源异构数据进行清洗。CN116010622ACN116010622A权利要求书1/2页1.一种融合实体类型的BERT知识图谱补全方法，其特征在于，包括以下步骤：构建BERT知识图谱补全模型：所述BERT知识图谱补全模型包括输入层、编码层和输出层，所述输入层用于构建输入文本的头实体、头实体类型、关系、尾实体和尾实体类型的表示序列；并将所述头实体、头实体类型、关系、尾实体和尾实体类型的表示序列拼接成输入序列；所述编码层用于对输入序列进行编码，并提取编码后的输入序列不同层次的语义特征，并对不同层次的语义特征进行拼接；所述输出层用于计算拼接后的语义特征的预测概率，并计算模型预测概率与预期概率的距离来调整BERT知识图谱补全模型的网络参数；训练所述BERT知识图谱补全模型，并使用训练好的BERT知识图谱补全模型对输入文本进行分类预测。2.根据权利要求1所述的融合实体类型的BERT知识图谱补全方法，其特征在于，所述编码层采用双向Tansformer编码器对输入序列进行编码，并采用多头注意力机制对提取编码后的输入序列不同层次的语义特征，并对不同层次的语义特征进行拼接；所述输出层采用sigmod函数计算拼接后的语义特征的预测概率，并计算模型预测概率与预期概率的距离，判断所述距离是否超过预设阈值，若距离超过阈值，则调整补全模型的网络参数；所述输出层使用[CLS]的最终隐藏状态作为输入序列的深层表示和模型的输出。3.根据权利要求2所述的融合实体类型的BERT知识图谱补全方法，其特征在于，所述输入序列表示为：其中，S表示输入序列，[CLS]为分类标签，为头实体的表示序列；为头实体类型的表示序列；为关系的表示序列；为尾实体的表示序列；为尾实体类型的表示序列，[SEP]为分隔标记。4.根据权利要求2所述的融合实体类型的BERT知识图谱补全方法，其特征在于，所述编码层包括输入嵌入层、位置嵌入层，所述输入嵌入层用于将输入文本映射成输入向量；所述位置嵌入层用于构建所述输入文本的位置向量，并将所述输入向量和位置向量拼接在一起形成输入序列的输入表示。5.根据权利要求4所述的融合实体类型的BERT知识图谱补全方法，其特征在于，所述输入向量包括字向量和段嵌入向量，所述输入序列中每个字符si的输入表示为：Vi＝Ec+Es+EiVi为字符si的输入表示，Ec为字符si的字向量，Es为字符si的段嵌入向量，Ei为字符si的位置向量。6.根据权利要求5所述的融合实体类型的BERT知识图谱补全方法，其特征在于，所述编码层包括多头注意力层、第一残差&归一化层、前馈网络层、第二残差&归一化层；所述多头注意力层用于将输入向量进行注意力计算，得到注意力序列bi；i所述第一残差&归一化层用于将所述输入向量与注意力序列bi进行相加得到b'，并对b'i做层归一化处理；所述前馈网络层使用线性修正单元对层归一化处理后的b'i进行线性变换；2CN116010622A权利要求书2/2页所述第二残差&归一化层用于对线性变换后的b'i做层归一化处理，并将层归一化处理后的b'i映射为一个表示序列。7.根据权利要求6所述的融合实体类型的BERT知识图谱补全方法，其特征在于，所述编码层还包括以下步骤：对于输入序列内的每个词，定义每个词位置向量与词向量大小相同，然后将每个词的输入向量和位置向量求和，其中，求和公式如下：其中，i表示序列编号，2i表示偶数倍i，2i1表示偶数倍i的其中之一，PE(pos,2i)、分别表示为当前位置与对偶数其一的位置向量和，pos表示为位置，dmodel表示词模型。8.根据权利要求7所述的融合实体类型