基于关系导向的实体关系联合抽取方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887211A(43)申请公布日2022.01.04(21)申请号202111232526.9(22)申请日2021.10.22(71)申请人中国人民解放军战略支援部队信息工程大学地址450000河南省郑州市高新区科学大道62号(72)发明人尹美娟胡红卫刘晓楠伍润民刘威罗向阳颜志豪(74)专利代理机构郑州大通专利商标代理有限公司41111代理人周艳巧(51)Int.Cl.G06F40/279(2020.01)G06F40/126(2020.01)G06N20/00(2019.01)权利要求书2页说明书10页附图3页(54)发明名称基于关系导向的实体关系联合抽取方法及系统(57)摘要本发明属于自然语言处理技术领域，特别涉及一种基于关系导向的实体关系联合抽取方法及系统，对目标文本中句子进行编码，获取目标文本中句子向量表示；针对句子向量表示，利用关系抽取模块抽取目标文本中所包含的关系类型；将抽取的关系类型作为先验知识与目标文本句子中词向量表示进行融合，利用实体识别模块来识别目标文本中与抽取的关系类型对应的实体。本发明能够减少对无关实体的关注，避免抽取冗余实体，进而对识别出的多个关系类型分别识别其对应的实体对，解决实体重叠问题，最终抽取出句子中所包含的全部实体关系三元组，提升实体关系识别准确度，便于实际场景应用。CN113887211ACN113887211A权利要求书1/2页1.一种基于关系导向的实体关系联合抽取方法，其特征在于，包含如下内容：对目标文本中句子进行编码，获取目标文本中句子向量表示；针对句子向量表示，利用关系抽取模块抽取目标文本中所包含的关系类型；将抽取的关系类型作为先验知识与目标文本句子中词向量表示进行融合，利用实体识别模块来识别目标文本中与抽取的关系类型对应的实体。2.根据权利要求1所述的基于关系导向的实体关系联合抽取方法，其特征在于，采用预训练的BERT模型对目标文本中句子进行编码，获取目标文本中各单词嵌入词向量，并通过捕捉句子特征生成句子上下文的向量表示。3.根据权利要求2所述的基于关系导向的实体关系联合抽取方法，其特征在于，在目标文本中句子句首添加分类标识符，将添加分类标识符的句子作为BERT模型输入，通过BERT模型进行编码，获取输出的句子向量表示。4.根据权利要求1所述的基于关系导向的实体关系联合抽取方法，其特征在于，关系抽取模块中，通过采用sigmoid函数将关系抽取建模为多标签二元分类任务，来识别并输出句子向量表示中的多种关系类型。5.根据权利要求4所述的基于关系导向的实体关系联合抽取方法，其特征在于，多标签N×d二元分类任务表示为：pr＝σ(Wr·hcls+br)，其中，pr为输出的关系类型标签，Wr∈R，N为总关系类型数量，d为句子向量表示维度大小，br为偏置向量，σ表示sigmoid函数，hcls为句子向量。6.根据权利要求5所述的基于关系导向的实体关系联合抽取方法，其特征在于，关系抽取模块损失函数采用二分类交叉熵函数，该二分类交叉熵函数表示为：其中，yi为真实关系类型标签。7.根据权利要求1或4或5或6所述的基于关系导向的实体关系联合抽取方法，其特征在于，针对抽取的多种关系类型(r1,r2,...,rm)，m为抽取的关系数量，根据索引利用查表法进行编码，获取关系类型编码向量，将句子中词向量表示和关系类型编码向量叠加融合，以利用实体识别模块输出与抽取的关系类型对应的实体。8.根据权利要求1所述的基于关系导向的实体关系联合抽取方法，其特征在于，将抽取的关系类型和目标文本句子中词向量表示叠加融合，作为实体识别模块输入向量，基于抽取的关系类型分别采用二进制指针标记关系类型对应的实体位置，依据实体位置获取关系类型对应的实体三元组(头实体，关系，尾实体)。9.根据权利要求8所述的基于关系导向的实体关系联合抽取方法，其特征在于，标记实体位置中，采用两个相同二元分类器对头实体和尾实体进行解码，其中一个分类器标记实体开始位置，另一个分类器标记实体结束位置，对输入向量每个单词分配一个二进制标签并检测单词作为实体开始和结束位置的概率，并依据就近原则，选取与开始位置最近距离的结束位置来生成关系类型对应的实体。10.一种基于关系导向的实体关系联合抽取系统，其特征在于，包含：句子编码模块、关系抽取模块及实体识别模块，其中，句子编码模块，用于对目标文本中句子进行编码，获取目标文本中句子向量表示；2CN113887211A权利要求书2/2页关系抽取模块，用于针对句子向量表示，利用关系抽取模块抽取目标文本中所包含的关系类型；实体识别模块，用于将抽取的关系类型作为先验知识与目标文本句子中词向量表示进行融合，利用实体识别模块来识别目标文本中与抽取的