翻译方法、装置、介质和近眼显示设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112764549A(43)申请公布日2021.05.07(21)申请号202110380356.2G06F40/58(2020.01)(22)申请日2021.04.09G10L13/04(2013.01)G02B27/01(2006.01)(71)申请人北京亮亮视野科技有限公司地址100176北京市大兴区北京经济技术开发区凉水河二街5号院4号楼7层711室(72)发明人梁祥龙黄海刘彦婷孙树成谢天豪(74)专利代理机构北京律智知识产权代理有限公司11438代理人孙宝海阚梓瑄(51)Int.Cl.G06F3/01(2006.01)G06K9/00(2006.01)G06K9/20(2006.01)权利要求书3页说明书13页附图5页(54)发明名称翻译方法、装置、介质和近眼显示设备(57)摘要本公开提供一种翻译方法、装置、介质和近眼显示设备。其中，翻译方法包括：在获取到待翻译的信息时，调用目标语种的翻译模型对所述待翻译的信息进行翻译，得到翻译文本；获取所述待翻译的信息的源特征，确定与所述源特征匹配的所述翻译文本的渲染方式；基于所述渲染方式将所述翻译文本显示在所述近眼显示设备上。通过本公开实施例提供的技术方案，翻译文本的渲染方式与获取到的源特征对应，能够保证翻译文本的显示和声源之间的适应性，进而优化翻译文本在近眼显示设备上的显示效果，对应地，有利于提升用户对翻译文本的查阅体验。CN112764549ACN112764549A权利要求书1/3页1.一种翻译方法，应用于近眼显示设备，其特征在于，包括：在获取到待翻译的信息时，调用目标语种的翻译模型对所述待翻译的信息进行翻译，得到翻译文本；获取所述待翻译的信息的源特征，确定与所述源特征匹配的所述翻译文本的渲染方式；基于所述渲染方式将所述翻译文本显示在所述近眼显示设备上。2.根据权利要求1所述的翻译方法，其特征在于，所述获取所述待翻译的信息的源特征，确定与所述源特征匹配的所述翻译文本的渲染方式包括：采集所述近眼显示设备的视窗范围图像；对所述视窗范围图像进行人脸识别，基于所述人脸识别的结果确定所述待翻译的信息的信息源；将采集到的所述信息源的视觉特征确定为所述源特征，以确定与所述视觉特征匹配的所述渲染方式。3.根据权利要求2所述的翻译方法，其特征在于，所述将采集到的所述信息源的视觉特征确定为所述源特征，以确定与所述视觉特征匹配的所述渲染方式包括：基于所述信息源的视觉特征检测与所述信息源之间的距离；基于所述距离确定所述翻译文本的显示尺寸；基于所述显示尺寸对所述翻译文本进行显示渲染。4.根据权利要求2所述的翻译方法，其特征在于，所述将采集到的所述信息源的视觉特征确定为所述源特征，以确定与所述视觉特征匹配的所述渲染方式包括：在确定所述信息源的所述视觉特征时，基于所述视觉特征采集所述信息源的动作信息和表情信息；基于所述动作信息确定所述翻译文本的显示时刻和消隐时刻；以及确定与所述表情信息匹配的显示风格；基于所述显示时刻、消隐时刻以及所述显示风格对所述翻译文本进行显示渲染。5.根据权利要求1所述的翻译方法，其特征在于，所述基于所述渲染方式将所述翻译文本显示在所述近眼显示设备上还包括：基于所述待翻译的信息的声音相位和/或源图像特征确定所述待翻译的信息的信息源在空间坐标系中的位置信息；基于所述近眼显示设备的显示坐标系和所述空间坐标系之间的映射关系，将显示在所述近眼显示设备上的所述翻译文本基于所述位置信息映射到所述信息源的位置上。6.根据权利要求5所述的翻译方法，其特征在于，所述基于所述近眼显示设备的显示坐标系和空间坐标系之间的映射关系与所述位置信息，将显示在所述近眼显示设备上的所述翻译文本，映射到所述信息源的位置上，还包括：所述位置信息包括与所述信息源之间的距离，基于所述距离调整所述近眼显示设备的显示焦平面；使所述翻译文本显示在调整后的所述焦平面上。7.根据权利要求6所述的翻译方法，其特征在于，所述基于所述近眼显示设备的显示坐标系和空间坐标系之间的映射关系，将显示在所述近眼显示设备上的所述翻译文本，映射2CN112764549A权利要求书2/3页到所述信息源的位置上包括：在检测到所述信息源移动时，对所述信息源执行人脸追踪操作，以持续捕捉所述信息源的位置信息；基于所述映射关系将所述翻译文本渲染为按照所述位置信息移动，以使所述翻译文本跟随所述信息源移动。8.根据权利要求1所述的翻译方法，其特征在于，所述待翻译的信息包括视频信息，所述在获取到待翻译的信息时，调用目标语种的翻译模型对所述待翻译的信息进行翻译，得到翻译文本包括：对所述视频信息执行手语识别，以识别出手语信息；调用目标语种的手语翻译模型将所述手语信息转换成所述翻译文本。9.根据权利