一种模型训练方法、装置、计算设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113688637A(43)申请公布日2021.11.23(21)申请号202010424684.3(22)申请日2020.05.19(71)申请人阿里巴巴集团控股有限公司地址开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人程善伯于恒翁荣祥骆卫华(74)专利代理机构北京成创同维知识产权代理有限公司11449代理人李秀霞(51)Int.Cl.G06F40/58(2020.01)G06F40/56(2020.01)权利要求书3页说明书13页附图6页(54)发明名称一种模型训练方法、装置、计算设备及可读存储介质(57)摘要本发明公开了一种模型训练方法，包括：训练第一翻译模型，第一翻译模型用于将第一源语言的文本翻译为第一目标语言；训练第二翻译模型，第二翻译模型用于将第二源语言的文本翻译为第二目标语言；利用第一源语言的词向量和第二源语言的词向量训练源语言转换组件；利用第一目标语言的词向量和第二目标语言的词向量训练目标语言转换组件；以及基于训练好的第一翻译模型、第二翻译模型、源语言转换组件和目标语言转换组件构建第三翻译模型，第三翻译模型用于将第二源语言的文本翻译为第二目标语言。本发明还公开了对应的模型训练装置、翻译装置、计算设备和可读存储介质。CN113688637ACN113688637A权利要求书1/3页1.一种模型训练方法，包括：训练第一翻译模型，所述第一翻译模型用于将第一源语言的文本翻译为第一目标语言；训练第二翻译模型，所述第二翻译模型用于将第二源语言的文本翻译为第二目标语言；利用所述第一源语言的词向量和所述第二源语言的词向量训练源语言转换组件；利用所述第一目标语言的词向量和所述第二目标语言的词向量训练目标语言转换组件；以及基于训练好的所述第一翻译模型、所述第二翻译模型、所述源语言转换组件和所述目标语言转换组件构建第三翻译模型，所述第三翻译模型用于将所述第二源语言的文本翻译为所述第二目标语言。2.如权利要求1所述的方法，其中，所述利用所述第一源语言的词向量和所述第二源语言的词向量训练源语言转换组件，包括：计算所述第二源语言的词向量到所述第一源语言的词向量的非线性转换，得到非线性转换关系一。3.如权利要求2所述的方法，其中，所述计算所述第二源语言的词向量到所述第一源语言的词向量的非线性转换，包括：利用至少一层前馈神经网络学习所述非线性转换关系一，所述前馈神经网络采用非线性激活函数。4.如权利要求1-3中任一所述的方法，其中，所述利用第一目标语言的词向量和所述第二目标语言的词向量训练目标语言转换组件，包括：计算所述第二目标语言的词向量到所述第一目标语言的词向量的非线性转换，得到非线性转换关系二。5.如权利要求4所述的方法，其中，所述计算所述第二目标语言的词向量到所述第一目标语言的词向量的非线性转换，包括：利用至少一层前馈神经网络学习所述非线性转换关系二，所述前馈神经网络采用非线性激活函数。6.如权利要求1-5中任一所述的方法，其中，所述基于训练好的所述第一翻译模型、所述第二翻译模型、所述源语言转换组件和所述目标语言转换组件构建第三翻译模型，包括：将所述非线性转换关系一作用于所述第二翻译模型的第二源语言的词向量，得到第三翻译模型的第一源语言的词向量；将所述非线性转换关系二作用于所述第二翻译模型的第二目标语言的词向量，得到第三翻译模型的第一目标语言的词向量；将所述第一翻译模型的编码器作为所述第三翻译模型的编码器；将所述第一翻译模型的解码器作为所述第三翻译模型的解码器。7.如权利要求6所述的方法，其中，所述第一翻译模型的解码器，和/或，所述第一翻译模型的编码器基于长短期记忆神经网络模型或者Transformer模型构建得到。8.如权利要求1所述的方法，其中，训练所述第一翻译模型，包括：利用第一双语语料训练所述第一翻译模型，所述第一双语语料包括使用所述第一源语2CN113688637A权利要求书2/3页言和所述第一目标语言撰写的相互间具有翻译关系的文本。9.如权利要求1所述的方法，其中，训练所述第二翻译模型，包括：以多任务学习的方式训练所述第二翻译模型。10.如权利要求9所述的方法，其中，所述第二翻译模型包括第二源语言词嵌入组件和第二目标语言词嵌入组件，所述第二源语言词嵌入组件用于为所述第二源语言的词生成词向量，所述第二目标语言词嵌入组件用于为所述第二目标语言的词生成词向量，以多任务学习的方式训练所述第二翻译模型，包括：利用所述第二源语言的单语语料预先训练所述第二源语言词嵌入组件；利用所述第二目标语言的单语语料预先训练所述第二目标语言词嵌入组件；利用第二双语语料训练所述第二翻译模型，所述第二双语语料包括使用所述第二源语言和所述第二目标语言撰写的相互间具有翻译