模型训练方法、机器翻译方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112380883A(43)申请公布日2021.02.19(21)申请号202011412735.7(22)申请日2020.12.04(71)申请人北京有竹居网络技术有限公司地址101299北京市平谷区林荫北街13号信息大厦802室(72)发明人赵程绮梁建泽王明轩李磊(74)专利代理机构北京远智汇知识产权代理有限公司11659代理人范坤坤(51)Int.Cl.G06F40/58(2020.01)G06F40/51(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书14页附图4页(54)发明名称模型训练方法、机器翻译方法、装置、设备及存储介质(57)摘要本公开实施例公开了一种模型训练方法、机器翻译方法、装置、设备及存储介质。模型训练方法包括：通过神经网络剪枝技术确定第一翻译模型中各参数对第一领域翻译结果的影响度，得到第一参数和第二参数；利用第一领域的第一语料训练第一参数，得到第二翻译模型，第二参数不变；利用目标领域的语料训练第二翻译模型的目标参数，得到目标翻译模型，其他参数不变，目标参数为部分或全部第二参数。该方案利用第一领域的语料训练第一参数，训练结束后，利用目标域的语料训练第二参数，最终得到的模型既保留了第一领域的信息又增加了目标领域的信息，提高了目标翻译模型的领域自适应性和准确度，在利用目标翻译模型翻译时，提高了翻译结果的准确度。CN112380883ACN112380883A权利要求书1/2页1.一种模型训练方法，其特征在于，包括：通过神经网络剪枝技术确定第一翻译模型中各参数对第一领域翻译结果的影响度，得到第一参数和第二参数，所述第一参数对所述第一领域的翻译结果的影响度大于所述第二参数对所述第一领域的翻译结果的影响度；利用所述第一领域的第一语料训练所述第一翻译模型的第一参数，得到第二翻译模型，训练过程中所述第二参数不变，所述第二翻译模型在所述第一领域的翻译结果与所述第一翻译模型在所述第一领域的翻译结果的相似度满足预设条件；利用目标领域的目标语料训练所述第二翻译模型的目标参数，得到目标翻译模型，训练过程中除所述目标参数以外的其他参数不变，所述目标参数为部分或全部第二参数。2.根据权利要求1所述的方法，其特征在于，所述通过神经网络剪枝技术确定第一翻译模型中各参数对第一领域翻译结果的影响度，得到第一参数和第二参数，包括：将所述第一领域的第二语料输入所述第一翻译模型，得到所述第一翻译模型中各参数对翻译结果的影响因子；根据各参数对应的影响因子确定各参数对所述翻译结果的影响度；将影响度大于或等于设定阈值的参数记为第一参数，将影响度小于设定阈值的参数记为第二参数。3.根据权利要求1所述的方法，其特征在于，所述利用所述第一领域的第一语料训练所述第一翻译模型的第一参数，得到第二翻译模型，包括：获取所述第一领域的第一源语言文本和所述第一源语言文本对应的第一参考翻译文本；将所述第一源语言文本输入所述第一翻译模型，获取所述第一翻译模型的输出结果；确定所述输出结果和所述第一参考翻译文本的匹配度；如果所述匹配度小于第一设定阈值，则调整所述第一翻译模型的第一参数，直至输出结果和第一参考翻译文本的匹配度大于或等于第一设定阈值，并将匹配度大于或等于第一设定阈值对应的第一翻译模型记为第二翻译模型。4.根据权利要求1所述的方法，其特征在于，所述利用目标领域的目标语料训练所述第二翻译模型的目标参数，得到目标翻译模型，包括：获取目标领域的第二源语言文本和所述第二源语言文本对应的第二参考翻译文本；将所述第二源语言文本输入所述第二翻译模型，获取所述第二翻译模型的输出结果；确定所述输出结果和所述第二参考翻译文本的匹配度；如果所述匹配度小于第二设定阈值，则调整所述第二翻译模型的目标参数，直至输出结果和第二参考翻译文本的匹配度大于或等于第二设定阈值，并将匹配度大于或等于第二设定阈值对应的第二翻译模型记为目标翻译模型。5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一翻译模型为通用翻译模型，所述第一领域为通用领域，所述目标领域为特定领域。6.一种机器翻译方法，其特征在于，包括：获取待翻译的源语言文本；将所述源语言文本输入预设机器翻译模型，获取所述预设机器翻译模型输出的结果，作为所述源语言文本的翻译结果，其中，所述预设机器翻译模型采用如权利要求1-5任一项2CN112380883A权利要求书2/2页所述的模型训练方法训练得到。7.一种模型训练装置，其特征在于，包括：参数确定模块，用于通过神经网络剪枝技术确定第一翻译模型中各参数对第一领域翻译结果的影响度，得到第一参数和第二参数，所述第一参数对所述第一领域的翻译结果的影响度大于所述第二参数