命名实体识别方法、装置、存储介质及终端设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113901823A(43)申请公布日2022.01.07(21)申请号202111233302.X(22)申请日2021.10.22(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人司世景王健宗(74)专利代理机构深圳中一联合知识产权代理有限公司44414代理人刘永康(51)Int.Cl.G06F40/295(2020.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书12页附图4页(54)发明名称命名实体识别方法、装置、存储介质及终端设备(57)摘要本发明属于人工智能技术领域，尤其涉及一种命名实体识别方法、装置、计算机可读存储介质及终端设备。所述方法包括：对孪生网络中的编码器进行预训练，将其作为命名实体识别模型的编码器，并使用标注文本数据对模型进行训练，得到标注训练后的模型；使用标注训练后的模型对无标注文本数据进行预测，得到第一类和第二类文本数据；获取人工标注后的第二类文本数据，并将模型标注后的第一类文本数据和人工标注后的第二类文本数据作为新增标注文本数据；使用新增标注文本数据对标注训练后的模型进行调整，得到调整后的模型；获取待识别的目标文本数据，并使用调整后的模型对目标文本数据进行处理，得到目标文本数据中的各个命名实体的实体类别。CN113901823ACN113901823A权利要求书1/3页1.一种命名实体识别方法，其特征在于，包括：使用预设的文本数据集中的文本数据对预设的孪生网络中的编码器进行预训练，得到预训练后的编码器；将所述预训练后的编码器作为预设的命名实体识别模型的编码器，并使用所述文本数据集中的标注文本数据对所述命名实体识别模型进行训练，得到标注训练后的命名实体识别模型；使用所述标注训练后的命名实体识别模型对所述文本数据集中的无标注文本数据进行预测，得到模型标注后的第一类文本数据和待人工标注的第二类文本数据；获取人工标注后的第二类文本数据，并将所述模型标注后的第一类文本数据和所述人工标注后的第二类文本数据作为新增标注文本数据；使用所述新增标注文本数据对所述标注训练后的命名实体识别模型进行调整，得到调整后的命名实体识别模型；获取待识别的目标文本数据，并使用所述调整后的命名实体识别模型对所述目标文本数据进行处理，得到所述目标文本数据中的各个命名实体的实体类别。2.根据权利要求1所述的命名实体识别方法，其特征在于，所述使用预设的文本数据集中的文本数据对预设的孪生网络中的编码器进行预训练，得到预训练后的编码器，包括：对所述文本数据集中的文本数据进行数据增强，得到预设数量的增强文本数据对；其中，任意一个所述增强文本数据对中均包括由同一文本数据进行数据增强后的得到的两个不同的增强文本数据；使用所述孪生网络对所述增强文本数据对进行处理，分别得到第一特征向量和第二特征向量；根据所述第一特征向量和所述第二特征向量计算第一损失函数；以最小化所述第一损失函数为目标对所述孪生网络中的编码器进行预训练，得到预训练后的编码器。3.根据权利要求2所述的命名实体识别方法，其特征在于，所述根据所述第一特征向量和所述第二特征向量计算第一损失函数，包括：根据下式计算所述第一损失函数：其中，p1为所述第一特征向量，z2为所述第二特征向量，||p1||2为所述第一特征向量的模，||z2||2为所述第二特征向量的模，为所述第一损失函数。4.根据权利要求1所述的命名实体识别方法，其特征在于，所述使用所述文本数据集中的标注文本数据对所述命名实体识别模型进行训练，得到标注训练后的命名实体识别模型，包括：使用所述命名实体识别模型的编码器对所述文本数据集中的标注文本数据进行编码，得到编码后的特征向量；使用所述命名实体识别模型的多层感知器对所述编码后的特征向量进行处理，得到实体类别的概率分布；2CN113901823A权利要求书2/3页根据所述概率分布计算第二损失函数；以最小化所述第二损失函数为目标对所述命名实体识别模型进行训练，得到标注训练后的命名实体识别模型。5.根据权利要求4所述的命名实体识别方法，其特征在于，所述使用所述命名实体识别模型的多层感知器对所述编码后的特征向量进行处理，得到实体类别的概率分布，包括：根据下式计算实体类别的概率分布：pi＝Softmax(Utanh(Vhi))其中，i为所述文本数据集中的标注文本数据的序号，hi为与所述文本数据集中的第i个标注文本数据对应的编码后的特征向量，U和V均为预设的模型参数，Softmax为预设的激励函数，pi为与所述文本数据集中的第i个标注文本数据对应的实体类别的概率