多媒体信息的展示方法及装置、存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116166822A(43)申请公布日2023.05.26(21)申请号202111402906.2(22)申请日2021.11.24(71)申请人博泰车联网（南京）有限公司地址211800江苏省南京市自由贸易试验区南京片区江淼路88号腾飞大厦C座4楼(72)发明人王明裴峥徐国祯(74)专利代理机构上海弼兴律师事务所31283专利代理师林嵩罗朗(51)Int.Cl.G06F16/438(2019.01)G06F16/483(2019.01)G06F16/435(2019.01)G06V20/59(2022.01)权利要求书2页说明书6页附图2页(54)发明名称多媒体信息的展示方法及装置、存储介质(57)摘要本发明公开了一种多媒体信息的展示方法及装置、存储介质。所述展示方法包括：获取多媒体音频数据对应的文本信息；提取文本信息中的参考关键词；获取车内人员的人脸拍摄信息；根据参考关键词和人脸拍摄信息获取渲染元素信息；基于渲染元素信息生成虚拟人物形象。本发明的多媒体信息的展示方法及装置、存储介质通过结合多媒体音频数据文本信息中的参考关键词和车内人员的人脸拍摄信息，获取渲染元素信息并生成虚拟人物形象，能够使多媒体信息在展示过程中更为贴近用户，生成的虚拟人物形象的趣味性更强，使听众在收听多媒体信息的过程中能够看到富有亲切感的栩栩如生的虚拟人物形象，提升了用户体验。CN116166822ACN116166822A权利要求书1/2页1.一种多媒体信息的展示方法，其特征在于，所述展示方法包括：获取多媒体音频数据对应的文本信息；提取所述文本信息中的参考关键词；获取车内人员的人脸拍摄信息；根据所述参考关键词和所述人脸拍摄信息获取渲染元素信息；基于所述渲染元素信息生成虚拟人物形象。2.如权利要求1所述的多媒体信息的展示方法，其特征在于，所述参考关键词包括所述多媒体音频数据的内容中的人名信息、动作信息、时间信息、地点信息、预设专有名词信息中的至少一种。3.如权利要求2所述的多媒体信息的展示方法，其特征在于，所述渲染元素信息包括人物原型信息；根据所述参考关键词和所述人脸拍摄信息获取渲染元素信息的步骤包括：根据所述人名信息，在离线素材数据库中获取匹配的人物原型信息；基于所述渲染元素信息生成虚拟人物形象的步骤包括：基于所述人物原型信息生成虚拟人物形象。4.如权利要求2所述的多媒体信息的展示方法，其特征在于，所述渲染元素信息包括着衣风格信息；根据所述参考关键词和所述人脸拍摄信息获取渲染元素信息的步骤包括：根据所述人名信息和/或时间信息，在离线素材数据库中获取匹配的着衣风格信息；基于所述渲染元素信息生成虚拟人物形象的步骤包括：基于所述着衣风格信息生成虚拟人物形象。5.如权利要求2所述的多媒体信息的展示方法，其特征在于，所述渲染元素信息包括人脸姿态信息和人体姿态信息；根据所述参考关键词和所述人脸拍摄信息获取渲染元素信息的步骤包括：根据所述动作信息，在离线素材数据库中获取匹配的人体姿态信息，根据所述人脸拍摄信息，生成对应的人脸姿态信息；基于所述渲染元素信息生成虚拟人物形象的步骤包括：基于所述人脸姿态信息和人体姿态信息生成虚拟人物形象。6.如权利要求1所述的多媒体信息的展示方法，其特征在于，所述获取多媒体音频数据对应的文本信息的步骤包括：获取多媒体音频数据；对所述多媒体音频数据进行语音识别操作，以获得所述文本信息。7.如权利要求1所述的多媒体信息的展示方法，其特征在于，所述获取多媒体音频数据对应的文本信息的步骤包括：调用预设应用程序的应用程序接口，以获取与所述多媒体音频数据对应的文本信息；所述应用程序用于发送所述多媒体音频数据。8.如权利要求1所述的多媒体信息的展示方法，其特征在于，所述获取多媒体音频数据对应的文本信息的步骤之前包括：检测预设应用程序是否启动，所述预设应用程序用于发送所述多媒体音频数据；若是，则执行所述获取多媒体音频数据对应的文本信息的步骤。9.一种多媒体信息的展示装置，其特征在于，所述展示装置包括：显示单元、一个或多个处理单元以及存储单元，所述显示单元、所述存储单元分别和所述处理单元通信连接；所2CN116166822A权利要求书2/2页述存储单元被配置成存储指令，当所述存储指令被所述一个或多个处理单元执行时，使所述一个或多个所述处理单元执行如下步骤：获取多媒体音频数据对应的文本信息；提取所述文本信息中的参考关键词；获取车内人员的人脸拍摄信息；根据所述参考关键词和所述人脸拍摄信息获取渲染元素信息；基于所述渲染元素信息生成虚拟人物形象；所述显示单元用于展示所述虚拟人物形象。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1‑8中任一项