嵌套命名实体识别方法及装置、介质及终端.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114117026A(43)申请公布日2022.03.01(21)申请号202111263910.5G06N3/08(2006.01)(22)申请日2021.10.27(71)申请人吉林大学地址130012吉林省长春市前进大街2699号(72)发明人杨志伟马晶陈贺昌张昀珂常毅(74)专利代理机构北京恒博知识产权代理有限公司11528代理人张晓芳(51)Int.Cl.G06F16/335(2019.01)G06F16/35(2019.01)G06F40/295(2020.01)G06N3/04(2006.01)权利要求书2页说明书11页附图7页(54)发明名称嵌套命名实体识别方法及装置、介质及终端(57)摘要本公开提供了一种嵌套命名实体识别方法及装置、介质及终端，涉及命名实体识别技术领域。其中该方法包括：对目标文本中的元素分别进行不同维度的特征表示，以得到所述目标文本中的候选区域；根据所述目标文本中的元素的特征表示，基于卷积神经网络聚合第i嵌套层的相邻区域，以生成第i+1嵌套层的候选区域，其中，i为正整数；将所述第i+1嵌套层的候选区域分别进行注意力特征表示；结合双向长短期记忆网络，整合当前上下文之间的特征信息，分别得到第i嵌套层所包含的候选区域的最终特征表示；利用线性变换，分别对每一嵌套层的所述最终特征表示进行序列标注。通过本方案，可以充分挖掘目标文本中隐含的实体信息，并且对命名实体进行分类。CN114117026ACN114117026A权利要求书1/2页1.一种嵌套命名实体识别方法，其特征在于，所述方法包括：对目标文本中的元素分别进行不同维度的特征表示，以得到所述目标文本中的候选区域；根据所述目标文本中的元素的特征表示，基于卷积神经网络聚合第i嵌套层的相邻区域，以生成第i+1嵌套层的候选区域，其中，i为正整数；将所述第i+1嵌套层的候选区域分别进行注意力特征表示；结合双向长短期记忆网络，整合当前上下文之间的特征信息，分别得到第i嵌套层所包含的候选区域的最终特征表示；利用线性变换，分别对每一嵌套层的所述最终特征表示进行序列标注。2.根据权利要求1所述的嵌套命名实体识别方法，其特征在于，所述对目标文本中的元素分别进行不同维度的特征表示，包括：通过长短期记忆网络对所述目标文本中的元素进行第一特征表示；通过预训练词向量对所述目标文本中的元素进行第二特征表示；通过预训练模型对所述目标文本中的元素进行第三特征表示；综合所述第一特征表示、第二特征表示，以及第三特征表示，生成所述目标文本中的元素的第四特征表示；利用多头注意力算法优化所述第四特征表示。3.根据权利要求1所述的嵌套命名实体识别方法，其特征在于，所述根据所述目标文本中的元素的特征表示，基于卷积神经网络聚合第i嵌套层的相邻区域，以生成第i+1嵌套层的候选区域，包括：基于卷积神经网络分别通过自底向上和自顶向下的方式，聚合第i嵌套层的相邻区域，以生成第i+1嵌套层的候选区域。4.根据权利要求3所述的嵌套命名实体识别方法，其特征在于，在所述生成第i+1嵌套层的候选区域之后，所述方法还包括：将所述第i+1嵌套层的候选区域分别进行注意力特征表示；利用多头注意力算法，优化所述第i+1嵌套层的候选区域的注意力特征表示。5.根据权利要求4所述的嵌套命名实体识别方法，其特征在于，在所述利用多头注意力算法，优化所述第i+1嵌套层的候选区域的注意力特征表示之后，还包括：将所述优化后的基于卷积神经网络，通过自底向上和自顶向下的方式分别获得的候选区域的注意力特征表示进行合并，以生成所述第i+1嵌套层的候选区域的最优特征表示。6.根据权利要求1‑5中任一所述的嵌套命名实体识别方法，其特征在于，所述对目标文本中的元素分别进行不同维度的特征表示，所述不同维度包括：字符维度、词维度，以及句子维度。7.根据权利要求1所述的嵌套命名实体识别方法，其特征在于，在所述利用线性变换，分别对每一嵌套层的所述最终特征表示进行序列标注之后，所述方法还包括：分别将每一嵌套层中所述候选区域的内容，依据所述序列标注分别进行输出。8.一种嵌套命名实体识别装置，其特征在于，包括：第一表示模块：用于对目标文本中的元素分别进行不同维度的特征表示，以得到目标文本中的候选区域；2CN114117026A权利要求书2/2页候选区域生成模块：用于根据所述目标文本中的元素的特征表示，基于卷积神经网络聚合第i嵌套层的相邻区域，以生成第i+1嵌套层的候选区域，其中，i为正整数；第二表示模块：用于将所述第i+1嵌套层的候选区域分别进行注意力特征表示；第三表示模块：用于结合双向长短期记忆网络，整合当前上下文之间的特征信息，分别得到第i嵌套层所包含的候选区域的最终特征表示；序列标注模块