建立转译模型的方法、转译方法和对应装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114118108A(43)申请公布日2022.03.01(21)申请号202111330368.0G06N3/08(2006.01)(22)申请日2021.11.11(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈珺孙清清郑行王爱凌赖伟达邹泊滔(74)专利代理机构济南信达专利事务所有限公司37100代理人李世喆(51)Int.Cl.G06F40/58(2020.01)G06F40/274(2020.01)G06F40/126(2020.01)G06N3/04(2006.01)权利要求书2页说明书15页附图6页(54)发明名称建立转译模型的方法、转译方法和对应装置(57)摘要本说明书实施例提供了一种建立转译模型的方法、转译方法和对应装置，根据本说明书实施例，首先获取包含多个训练样本的训练数据；然后利用训练数据训练包含编码器、文本解码器和语音解码器的辅助模型；其中，将训练样本的源语言文本作为编码器的输入，由编码器输出该源语言文本的特征表示；文本解码器利用特征表示预测该源语言文本的目标语言文本；语音解码器利用特征表示预测该源语言文本的语音索引文本；辅助模型的训练目标为：最小化文本解码器的预测结果与训练样本中对应目标语言文本的差异以及最小化语音解码器的预测结果与训练样本中对应语音索引文本的差异；再利用训练得到的辅助模型中的编码器和文本解码器得到转译模型。CN114118108ACN114118108A权利要求书1/2页1.建立转译模型的方法，包括：获取包含多个训练样本的训练数据，所述训练样本包括源语言文本及其对应的目标语言文本和语音索引文本；利用所述训练数据训练包含编码器、文本解码器和语音解码器的辅助模型；其中，将训练样本的源语言文本作为所述编码器的输入，由所述编码器输出该源语言文本的特征表示；所述文本解码器利用所述特征表示预测该源语言文本的目标语言文本；所述语音解码器利用所述特征表示预测该源语言文本的语音索引文本；所述辅助模型的训练目标为：最小化所述文本解码器的预测结果与训练样本中对应目标语言文本的差异以及最小化所述语音解码器的预测结果与训练样本中对应语音索引文本的差异；利用训练得到的辅助模型中的编码器和文本解码器得到所述转译模型。2.根据权利要求1所述的方法，其中，所述编码器采用双向循环神经网络结构，所述文本解码器和语音解码器采用循环神经网络结构。3.根据权利要求1所述的方法，其中，所述编码器输出该源语言文本的特征表示包括：所述编码器对所述源语言文本进行编码，得到各字符对应的隐向量表示；利用预设的变换函数将所述各字符对应的隐向量表示转换为背景变量。4.根据权利要求3所述的方法，其中，所述文本解码器利用所述特征表示预测该源语言文本的目标语言文本包括：所述文本解码器利用目标语言文本中上一字符的预测结果、所述背景变量以及上一字符的隐向量表示进行变换，得到目标语言文本中当前字符的隐向量表示；利用当前字符的隐向量表示映射得到当前字符的预测结果；所述语音解码器利用所述特征表示预测该源语言文本的语音索引文本包括：所述语音解码器利用语音索引文本中上一字符的预测结果、所述背景变量以及上一字符的隐向量表示进行变换，得到语音索引文本中当前字符的隐向量表示；利用当前字符的隐向量表示映射得到当前字符的预测结果。5.根据权利要求1所述的方法，其中，所述辅助模型还包括：文本注意力层和语音注意力层；所述编码层对所述源语言文本进行编码，得到各字符对应的隐向量表示；所述文本注意力层对所述隐向量表示进行注意力机制的处理，得到目标语言文本中各字符对应的文本背景变量，以供所述文本解码器在进行预测时，利用所述各字符对应的文本背景变量；所述语音注意力层对所述隐向量表示进行注意力机制的处理，得到语音索引文本中各字符对应的语音背景变量，以供所述语音解码器在进行预测时，利用所述各字符对应的语音背景变量；所述转译模型进一步包括所述文本注意力层。6.根据权利要求5所述的方法，其中，所述文本注意力层在确定目标语言文本的第j个字符对应的文本背景变量时，对所述源语言文本的第i个字符对应的隐向量表示hi所采用的注意力权重αji是对注意力分数eji进行归一化而得到的；所述eji由所述hi以及所述文本编码器针对目标语言文本的第j‑1个字符的隐向量表示sj‑1进行变换得到；所述语音注意力层在确定语音索引文本中的第k个字符的语音背景变量时，对所述源语言文本的第i个字符对应的隐向量表示hi所采用的注意力权重αki是对注意力分数eki进行2CN114118108A权利要求书2/2页归一化而得到的；所述eki由所述hi以及所述语音编码器针对语音索引文