文本分析模型的训练方法及装置、文本分析方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110781663A(43)申请公布日2020.02.11(21)申请号201911031207.4(22)申请日2019.10.28(71)申请人北京金山数字娱乐科技有限公司地址100085北京市海淀区小营西路33号金山软件大厦2层西区申请人成都金山互动娱乐科技有限公司(72)发明人陈楠唐剑波李长亮(74)专利代理机构北京智信禾专利代理有限公司11637代理人王治东(51)Int.Cl.G06F40/216(2020.01)G06F16/35(2019.01)G06F16/33(2019.01)G06F16/332(2019.01)权利要求书2页说明书12页附图5页(54)发明名称文本分析模型的训练方法及装置、文本分析方法及装置(57)摘要本申请提供文本分析模型的训练方法及装置、文本分析方法及装置。其中，所述训练方法包括：获取样本文本、样本问题和答案标签；将样本文本和样本问题输入至文本分析模型中进行处理，生成分类单元输出向量和注意力单元输出向量；基于分类单元输出向量确定样本答案存在信息，并将样本答案存在信息与答案标签中的答案存在信息进行计算，生成第一损失值，基于注意力单元输出向量确定样本答案，并将样本答案与答案标签中的正确答案进行计算，生成第二损失值；基于第一损失值和第二损失值生成第三损失值，并基于第三损失值对文本分析模型进行迭代训练，直至达到训练停止条件。本申请所述的方法可以有效提高文本分析模型的准确率。CN110781663ACN110781663A权利要求书1/2页1.一种文本分析模型的训练方法，其特征在于，包括：获取样本文本、样本问题和答案标签；将所述样本文本和样本问题输入至文本分析模型中进行处理，生成分类单元输出向量和注意力单元输出向量；基于所述分类单元输出向量确定样本答案存在信息，并将所述样本答案存在信息与答案标签中的答案存在信息进行计算，生成第一损失值；基于所述注意力单元输出向量确定样本答案，并将所述样本答案与答案标签中的正确答案进行计算，生成第二损失值；基于所述第一损失值和第二损失值生成第三损失值，并基于所述第三损失值对所述文本分析模型进行迭代训练，直至达到训练停止条件。2.根据权利要求1所述的文本分析模型的训练方法，其特征在于，在所述获取样本文本、样本问题和答案标签之后，还包括：将样本文本和样本问题进行分词处理，获得词单元集合；所述将所述样本文本和样本问题输入至文本分析模型中进行处理，生成分类单元输出向量和注意力单元输出向量，包括：将所述词单元集合输入至文本分析模型中进行处理，生成首个词单元的分类单元输出向量和每一个词单元的注意力单元输出向量。3.根据权利要求2所述的文本分析模型的训练方法，其特征在于，所述将所述词单元集合输入至文本分析模型中进行处理，包括：将所述词单元集合输入至文本分析模型的注意力单元中进行处理，生成每一个词单元的注意力单元输出向量；将首个词单元的注意力单元输出向量输入至分类单元中进行处理，生成首个词单元的分类单元输出向量。4.根据权利要求2所述的文本分析模型的训练方法，其特征在于，所述基于所述分类单元输出向量确定样本答案存在信息，包括：S11、基于所述首个词单元的分类单元输出向量判断所述样本文本中是否存在所述样本问题的答案，若是，则执行步骤S12，若否，则执行步骤S13；S12、生成存在答案标签，并将所述存在答案标签作为样本答案存在信息；S13、生成不存在答案标签，并将所述不存在答案标签作为样本答案存在信息。5.根据权利要求2所述的文本分析模型的训练方法，其特征在于，所述基于所述注意力单元输出向量确定样本答案，包括：将每一个所述词单元的注意力单元输出向量进行线性与非线性处理，获得每一个词单元作为样本答案开始位置的概率和作为样本答案结束位置的概率；基于所述每一个词单元作为样本答案开始位置的概率和作为样本答案结束位置的概率确定样本答案。6.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于所述第一损失值和第二损失值生成第三损失值，包括：确定所述第一损失值的权重值和所述第二损失值的权重值；基于所述第一损失值的权重值以及第二损失值的权重值进行加权求和处理，生成第三2CN110781663A权利要求书2/2页损失值。7.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于所述第三损失值对所述文本分析模型进行迭代训练，直至达到训练停止条件，包括：S21、判断所述第三损失值是否处于稳定状态，若是，则执行步骤S22，若否，则执行步骤S23；S22、基于所述第三损失值对所述文本分析模型进行更新；S23、停止训练。8.一种文本分析方法，其特征在于，包括：获取待分析文本和待回答问题；将所述待分析文本和待回答