多模态翻译方法、装置、电子设备及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114254660A(43)申请公布日2022.03.29(21)申请号202011003004.7(22)申请日2020.09.22(71)申请人北京三星通信技术研究有限公司地址100028北京市朝阳区太阳宫中路12号楼15层1503申请人三星电子株式会社(72)发明人涂眉张帆王黎杰(74)专利代理机构北京市立方律师事务所11330代理人张筱宁(51)Int.Cl.G06F40/58(2020.01)G06F40/30(2020.01)G06F40/216(2020.01)权利要求书2页说明书25页附图15页(54)发明名称多模态翻译方法、装置、电子设备及计算机可读存储介质(57)摘要本申请实施例提供了一种多模态翻译方法、装置、电子设备及计算机可读存储介质，属于自然语言处理领域，该方法包括：获取源语言的多模态输入；根据所述多模态输入确定场景信息；基于所述场景信息，采用翻译模型获取目标语言的翻译内容。本申请的多模态翻译方法可以帮助翻译模型更好的判断当前的场景，从而减少语义理解的歧义现象，提高翻译的准确性。CN114254660ACN114254660A权利要求书1/2页1.一种多模态翻译方法，其特征在于，包括：获取源语言的多模态输入；根据所述多模态输入确定场景信息；基于所述场景信息，采用翻译模型获取目标语言的翻译内容。2.根据权利要求1的多模态翻译方法，其特征在于，所述多模态输入包含位置信息和以下至少之一：文本、图像、音频、视频、生物信号。3.根据权利要求2的多模态翻译方法，其特征在于，所述根据所述多模态输入确定场景信息，包括：根据位置信息提取位置实体语义信息，并基于其他多模态输入提取源端文本语义信息和多模态特征；基于所述位置实体语义信息、源端文本语义信息和多模态特征，获取所述场景信息。4.根据权利要求3的多模态翻译方法，其特征在于，所述多模态特征包含下述至少一种：图像的边缘信息、图像的颜色信息、图像的抽象信息、音调信息、声音信息、语音信息。5.根据权利要求3或4所述的多模态翻译方法，其特征在于，所述基于所述位置实体语义信息、源端文本语义信息和多模态特征，获取所述场景信息，包括：基于注意力网络对位置实体语义信息、源端文本语义信息和多模态特征进行融合得到融合结果，基于所述融合结果获取所述场景信息。6.根据权利要求5所述的多模态翻译方法，其特征在于，所述基于注意力网络对位置实体语义信息、源端文本语义信息和多模态特征进行融合得到融合结果，基于所述融合结果获取所述场景信息，包括：将所述源端文本语义信息与所述多模态特征进行融合，得到第一融合特征；基于所述位置实体语义信息，使用所述注意力网络确定所述第一融合特征的权重；根据所述权重加权所述第一融合特征；将所述加权后的第一融合特征与所述位置实体语义信息进行融合，得到与所述场景信息。7.根据权利要求5所述的多模态翻译方法，其特征在于，所述基于注意力网络对位置实体语义信息、源端文本语义信息和多模态特征进行融合得到融合结果，基于所述融合结果获取所述场景信息，包括：将所述位置实体语义信息与所述多模态特征进行融合，得到第二融合特征；基于所述第二融合特征，使用所述注意力网络确定所述源端文本语义信息的权重；将所述加权后的源端文本语义信息作为所述场景信息。8.根据权利要求1所述的多模态翻译方法，其特征在于，所述基于所述场景信息，采用翻译模型获取目标语言的翻译内容，包括：根据所述场景信息确定所述翻译模型中的运行层；使用由运行层组成的翻译模型获取所述翻译内容。9.根据权利要求8所述的多模态翻译方法，其特征在于，所述根据所述场景信息确定所述翻译模型中的运行层，包括：根据所述场景信息确定领域标签；从预定义的层掩码中选择与所述领域标签对应的层掩码；2CN114254660A权利要求书2/2页根据所选择的层掩码确定所述翻译模型中的所述运行层。10.根据权利要求9所述的多模态翻译方法，其特征在于，所述根据所述场景信息确定领域标签，包括：使用卷积神经网络对所述场景信息进行特征提取；使用上下文分类网络，基于所述卷积神经网络的输出确定所述领域标签。11.根据权利要求1所述的多模态翻译方法，其特征在于，所述基于所述场景信息，采用翻译模型获取目标语言的翻译内容，包括：根据所述场景信息确定候选词；根据所述翻译模型的输出，从所述候选词中确定所述翻译内容。12.根据权利要求11所述的多模态翻译方法，其特征在于，所述根据所述场景信息确定候选词，包括：将所述多模态输入中提取的源端文本语义信息与所述场景信息进行融合，得到第三融合特征；使用前馈神经网络对所述第三融合特征进行特征提取；根据前馈神经网络的输出计算所述目标语言候选词集合中各个词语的选择概率；根据所述目标语言