文本分析模型的训练方法及装置、文本分析方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111008266A(43)申请公布日2020.04.14(21)申请号201911244168.6G06F40/30(2020.01)(22)申请日2019.12.06(71)申请人北京金山数字娱乐科技有限公司地址100085北京市海淀区小营西路33号金山软件大厦2层西区申请人成都金山互动娱乐科技有限公司北京金山软件有限公司(72)发明人耿晨唐剑波李长亮(74)专利代理机构北京智信禾专利代理有限公司11637代理人王治东(51)Int.Cl.G06F16/33(2019.01)G06F16/35(2019.01)G06F40/289(2020.01)权利要求书2页说明书12页附图5页(54)发明名称文本分析模型的训练方法及装置、文本分析方法及装置(57)摘要本申请提供一种文本分析模型的训练方法及装置、文本分析方法及装置。其中，所述文本分析模型的训练方法，包括：获取训练样本，并输入至文本分析模型中，生成线性矩阵；基于所述线性矩阵进行处理，生成分数矩阵；基于所述分数矩阵与预先设置有掩盖位置的掩盖矩阵生成分数更新矩阵，以掩盖所述训练样本中的至少一个词单元；基于所述分数更新矩阵和所述线性矩阵进行自注意力处理，预测所述训练样本中掩盖的词单元，并基于预测结果与真实结果确定损失值；基于所述损失值对所述文本分析模型进行训练，直至达到训练停止条件。本申请提供的方法及装置，可以有效提高模型训练效果，有效提高文本分析的准确率。CN111008266ACN111008266A权利要求书1/2页1.一种文本分析模型的训练方法，其特征在于，包括：获取训练样本，并输入至文本分析模型中，生成线性矩阵；基于所述线性矩阵进行处理，生成分数矩阵；基于所述分数矩阵与预先设置有掩盖位置的掩盖矩阵生成分数更新矩阵，以掩盖所述训练样本中的至少一个词单元；基于所述分数更新矩阵和所述线性矩阵进行自注意力处理，预测所述训练样本中掩盖的词单元，并基于预测结果与真实结果确定损失值；基于所述损失值对所述文本分析模型进行训练，直至达到训练停止条件。2.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于所述分数矩阵与预先设置有掩盖位置的掩盖矩阵生成分数更新矩阵，包括：将所述分数矩阵与预先设置有至少一行或至少一列掩盖位置的掩盖矩阵相加，生成分数更新矩阵。3.根据权利要求2所述的文本分析模型的训练方法，其特征在于，所述训练样本包括至少一个样本语句，每一个所述样本语句对应一个所述分数矩阵，所述样本语句包括a个词单元，所述分数矩阵和所述掩盖矩阵均为b行b列的矩阵，其中，b≥a，且a和b均为正整数；所述将所述分数矩阵与预先设置有至少一行或至少一列掩盖位置的掩盖矩阵相加，生成分数更新矩阵，包括：将所述掩盖矩阵的第c行或第c列设置为掩盖位置，c≤a，且c为整数；将所述分数矩阵与所述掩盖矩阵相加，生成分数更新矩阵以掩盖所述样本语句中的第c个词单元。4.根据权利要求3所述的文本分析模型的训练方法，其特征在于，所述将所述掩盖矩阵的第c行或第c列设置为掩盖位置，包括：将所述掩盖矩阵的第c行的值设置为负值，并将所述掩盖矩阵其他行的值设置为0或数值相同的正值；或将所述掩盖矩阵的第c列的值设置为负值，并将所述掩盖矩阵其他列的值设置为0或数值相同的正值。5.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于所述分数更新矩阵和所述线性矩阵进行自注意力处理，预测所述训练样本中掩盖的词单元，包括：将所述分数更新矩阵进行归一化处理，获得预设候选词表中每个词单元作为训练样本掩盖位置处的词单元的概率分布；基于所述概率分布与所述线性矩阵，获得预设获选词表中每个词单元作为训练样本掩盖位置处的词单元的概率值；基于所述概率值预测所述训练样本中掩盖位置处的词单元。6.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于预测结果与真实结果确定损失值，包括：基于预测得到的所述掩盖位置处的词单元与所述训练样本中掩盖位置处的词单元计算交叉熵损失函数，生成损失值。7.根据权利要求1所述的文本分析模型的训练方法，其特征在于，所述基于所述损失值对所述文本分析模型进行训练，包括：2CN111008266A权利要求书2/2页判断所述损失值是否小于预设阈值；若否，则获取训练样本并继续训练；若是，则停止训练。8.一种文本分析方法，其特征在于，包括：获取待分析文本；将所述待分析文本输入至文本分析模型中进行处理，生成文本分析结果；其中，所述文本分析模型是通过权利要求1-7任意一项所述的训练方法训练得到的。9.一种文本分析模型的训练装置，其特征在于，包括：获取模块，被配置为获取训练样本，并输入至文本分析模型中，生成线性矩阵；处理模块，被配置为基于所