模型对抗训练、命名实体识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111523314A(43)申请公布日2020.08.11(21)申请号202010632209.5(22)申请日2020.07.03(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人李扬名李小龙姚开盛(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06F40/284(2020.01)G06F40/295(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书13页附图3页(54)发明名称模型对抗训练、命名实体识别方法及装置(57)摘要本说明书实施例提供一种模型对抗训练、命名实体识别方法及装置。在模型训练中，将第一样本序列中的第一命名实体替换为其对应的原始标签字符，得到第二样本序列，并从第二样本序列中确定包含替换的原始标签字符的第一文本片段，确定第一文本片段的分类标签值为第一值，用于表示已替换命名实体；采用特征提取网络，确定第二样本序列中多个分词的特征隐向量；基于第二样本序列中多个分词的特征隐向量，确定第一文本片段的第一片段向量，将第一片段向量输入第一判别器，得到第一预测值；基于第一预测值与第一值的差异，确定第一损失值；以最小化第一损失值为目标，更新第一判别器；以最大化第一损失值为目标，更新特征提取网络。CN111523314ACN111523314A权利要求书1/3页1.一种用于识别命名实体的模型的对抗训练方法，通过计算机执行，包括：获取包含多个分词的第一样本序列和其中多个分词的原始标签字符，多个分词包含命名实体和非命名实体；将所述第一样本序列中的第一命名实体替换为其对应的原始标签字符，得到第二样本序列，并从所述第二样本序列中确定包含替换的原始标签字符的第一文本片段，确定所述第一文本片段的分类标签值为第一值，用于表示已替换命名实体；采用特征提取网络，确定所述第二样本序列中多个分词的特征隐向量；基于所述第二样本序列中多个分词的特征隐向量，确定所述第一文本片段的第一片段向量，将所述第一片段向量输入第一判别器，得到第一预测值；基于所述第一预测值与所述第一值的差异，确定第一损失值；以最小化所述第一损失值为目标，更新所述第一判别器；以最大化所述第一损失值为目标，更新所述特征提取网络。2.根据权利要求1所述的方法，还包括：从第三样本序列中确定包含未被替换的命名实体的第二文本片段，并确定所述第二文本片段的分类标签值为第二值，用于表示未替换命名实体；采用所述特征提取网络，确定所述第三样本序列中多个分词的特征隐向量；基于所述第三样本序列中多个分词的特征隐向量，确定所述第二文本片段的第二片段向量，将所述第二片段向量输入所述第一判别器，得到第二预测值；基于所述第二预测值与所述第二值的差异，确定第二损失值；以最小化所述第二损失值为目标，更新所述第一判别器；以最大化所述第二损失值为目标，更新所述特征提取网络。3.根据权利要求1所述的方法，所述将所述第一样本序列中的第一命名实体替换为其对应的原始标签字符的步骤，包括：从所述第一样本序列中的至少一个命名实体中随机确定第一数量个命名实体，作为第一命名实体，将所述第一命名实体替换为其对应的原始标签字符。4.根据权利要求1所述的方法，所述从所述第二样本序列中确定包含替换的原始标签字符的第一文本片段的步骤，包括：将所述第二样本序列中，替换的原始标签字符以及与该替换的原始标签字符相邻的命名实体对应的序列，确定为第一文本片段。5.根据权利要求1所述的方法，所述确定所述第一文本片段的第一片段向量的步骤，包括：从所述第二样本序列中多个分词的特征隐向量中，确定所述第一文本片段中每个分词的特征隐向量，计算所述第一文本片段中每个分词的特征隐向量的平均值或加权平均值，得到所述第一文本片段的第一片段向量。6.根据权利要求1所述的方法，所述特征提取网络包括双向递归神经网络；所述采用特征提取网络，确定所述第二样本序列中多个分词的特征隐向量的步骤，包括：采用所述特征提取网络，按照序列的前向顺序，递归地确定所述第二样本序列中多个分词的第一初始隐向量；采用所述特征提取网络，按照序列的后向顺序，递归地确定所述第二样本序列中多个2CN111523314A权利要求书2/3页分词的第二初始隐向量；针对所述第二样本序列中的每个分词，将该分词的第一初始隐向量和第二初始隐向量进行融合，得到该分词的特征隐向量。7.根据权利要求1所述的方法，所述第一判别器包括多层感知器MLP。8.根据权利要求6所述的方法，所述双向递归神经网络包括双向循环神经网络RNN或双向长短期记忆LSTM。9.一种使用模型对命名