长度损失确定方法以及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114298310A(43)申请公布日2022.04.08(21)申请号202111629548.9(22)申请日2019.01.29(62)分案原申请数据201910084411.62019.01.29(71)申请人北京金山数字娱乐科技有限公司地址100085北京市海淀区西二旗中路33号院5号楼11层002号申请人成都金山互动娱乐科技有限公司(72)发明人李长亮李小龙唐剑波徐智涛(74)专利代理机构北京智信禾专利代理有限公司11637代理人何定润(51)Int.Cl.G06N5/02(2006.01)G06F40/205(2020.01)权利要求书3页说明书17页附图3页(54)发明名称长度损失确定方法以及装置(57)摘要本申请提供长度损失确定方法以及装置，其中，所述长度损失确定方法包括：确定预测答案在样本文章中的预测起始位置和预测结尾位置；计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；确定所述预测答案的字节长度与目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。本申请提供的长度损失确定方法，不仅提高了长度损失的准确度，还充分反映预测出答案的损失，有利于提高阅读理解模型的训练效率，使训练获得的阅读理解模型的预测准确率更高。CN114298310ACN114298310A权利要求书1/3页1.一种长度损失确定方法，其特征在于，包括：确定预测答案在样本文章中的预测起始位置和预测结尾位置；计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；确定所述预测答案的字节长度与目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。2.根据权利要求1所述的长度损失确定方法，其特征在于，所述确定预测答案在样本文章中的预测起始位置和预测结尾位置之前，还包括：确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失。3.根据权利要求2所述的长度损失确定方法，其特征在于，所述确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失之后，还包括：基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失。4.根据权利要求2所述的长度损失确定方法，其特征在于，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失之前，还包括：获取包含样本问题及其在样本文章中对应目标答案的训练样本；通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案。5.根据权利要求3所述的长度损失确定方法，其特征在于，所述基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失之后，还包括：基于所述准确度损失确定损失函数，利用所述损失函数对阅读理解模型进行优化。6.根据权利要求4或5所述的长度损失确定方法，其特征在于，所述阅读理解模型为AttentiveReader、AttentionSumReader、StanfordAttentiveReader和GatedAttentionReader中的任意一种。7.根据权利要求2所述的长度损失确定方法，其特征在于，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失，包括：计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；基于所述起始概率分布和所述结尾概率分布确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；基于所述起始概率分布中包含的所述预测起始位置对应的概率数值确定所述预测起始位置的起始位置损失，以及基于所述结尾概率分布中包含的所述预测结尾位置对应的概率数值确定所述预测结尾位置的结尾位置损失。8.根据权利要求7所述的长度损失确定方法，其特征在于，所述预测起始位置，包括：所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置；所述预测结尾位置，包括：所述结尾概率分布中包含的概率数值最大的字单元在所述2CN114298310A权利要求书2/3页样本文章中的位置。9.根据权利要求8所述的长度损失确定方法，其特征在于，所述起始位置损失，包括：所述预测起始位置对应的概率数值与所述目标答案的起始位置对应的概率数值的差值；所述结尾位置损失，包括：所述预测结尾位置对应的概率数值与所述目标答案的结尾位置对应的概率数值的差值。10.根据权利要求7所述的长度损失确定方法，其特征在于，所述计算所述样本文章包含的字单元为所述预测答案