文本识别模型的训练方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113761904A(43)申请公布日2021.12.07(21)申请号202010507328.8G06N3/08(2006.01)(22)申请日2020.06.05(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人宋凯嵩康杨杨张琼孙常龙林君(74)专利代理机构北京智信四方知识产权代理有限公司11519代理人钟文芳宋海龙(51)Int.Cl.G06F40/289(2020.01)G06F40/211(2020.01)G06F40/30(2020.01)G06N3/04(2006.01)权利要求书3页说明书19页附图4页(54)发明名称文本识别模型的训练方法、装置、电子设备及存储介质(57)摘要本公开实施例公开了一种文本识别模型的训练方法、装置、电子设备及存储介质，所述方法包括：获取样本文本中样本句子的多个样本分词；通过将所述样本分词输入至所述主干模型获取对应于所述样本句子的第一输出结果，以及通过将所述样本分词输入至所述辅助模型获取对应于所述样本分词的第二输出结果；所述第一输出结果至少用于表示所述主干模型所述样本句子是否涉及目标内容，所述第二输出结果至少用于表示所述样本分词是否涉及所述目标内容；利用所述第一输出结果和第二输出结果对所述主干模型和所述辅助模型的模型参数进行调整；所述主干模型和辅助模型共享至少一部分模型参数。该技术方案能够提高文本识别模型的识别能力。CN113761904ACN113761904A权利要求书1/3页1.一种文本识别模型的训练方法，其中，所述文本识别模型包括主干模型和至少一个辅助模型，包括：获取样本文本中样本句子的多个样本分词；通过将所述样本分词输入至所述主干模型获取对应于所述样本句子的第一输出结果，以及通过将所述样本分词输入至所述辅助模型获取对应于所述样本分词的第二输出结果；所述第一输出结果至少用于表示所述样本句子是否涉及目标内容，所述第二输出结果至少用于表示所述样本分词是否涉及所述目标内容；利用所述第一输出结果和第二输出结果对所述主干模型和所述辅助模型的模型参数进行调整；所述主干模型和辅助模型共享至少一部分模型参数。2.根据权利要求1所述的方法，其中，通过将所述样本分词输入至所述主干模型获取对应于所述样本句子的第一输出结果，包括：获取所述样本分词的初始词向量；通过将所述样本句子中所述样本分词对应的所述初始词向量输入至所述主干模型中的句子向量表示模型，获取所述样本句子的样本句子向量，以及通过将所述样本句子向量输入至所述主干模型中的句子识别模型获取所述第一输出结果。3.根据权利要求2所述的方法，其中，通过将所述样本句子中所述样本分词对应的所述初始词向量输入至所述主干模型中的句子向量表示模型，获取所述样本句子的样本句子向量，包括：通过将所述样本分词对应的所述初始词向量输入至所述句子向量表示模型中的第一上下文信息表示模型，获取所述样本分词的上下文词向量；利用注意力机制以及所述上下文词向量确定所述样本分词的词语注意力权重；利用所述样本分词的所述词语注意力权重以及所述上下文词向量获取所述样本句子的样本句子向量。4.根据权利要求3所述的方法，其中，利用注意力机制以及所述上下文词向量确定所述样本分词的词语注意力权重，包括：利用全连接层对所述样本分词对应的所述上下文词向量进行处理得到对应的第一输出向量；其中，所述主干模型和所述辅助模型共享所述全连接层的模型参数；根据所述第一输出向量计算得到所述样本分词的词语注意力权重。5.根据权利要求4所述的方法，其中，通过将所述样本分词输入至所述辅助模型获取对应于所述样本分词的第二输出结果，包括：利用所述第一输出向量确定所述样本分词对应的所述第二输出结果。6.根据权利要求1-5任一项所述的方法，其中，通过将所述样本分词输入至所述辅助模型获取对应于所述样本分词的第二输出结果，包括：利用全连接层对所述样本分词对应的初始词向量进行处理得到对应的第二输出向量；所述主干模型和所述辅助模型共享所述全连接层的模型参数；根据所述第二输出向量确定所述样本分词对应的所述第二输出结果。7.根据权利要求2-5任一项所述的方法，其中，通过将所述样本句子向量输入至所述主干模型中的句子识别模型获取所述第一输出结果，包括：通过将所述样本句子向量输入至所述主干模型中的第二上下文信息表示模型，获取所2CN113761904A权利要求书2/3页述样本句子的上下文句子向量；根据所述上下文句子向量确定所述第一输出结果。8.根据权利要求1-5任一项所述的方法，其中，利用所述第一输出结果和第二输出结果对所述主干模型和所述辅助模型的模型参数进行调整，包括：通过对所述样本文本中多个所述样本句子对应的第