一种实时生成演唱视频的方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108647313A(43)申请公布日2018.10.12(21)申请号201810442017.0(22)申请日2018.05.10(71)申请人福建星网视易信息系统有限公司地址350008福建省福州市仓山区金山大道618号桔园洲工业区星网锐捷科技园20号楼四层(72)发明人冯皓祖可峰郑灵玮林群林鎏娟(74)专利代理机构福州市景弘专利代理事务所(普通合伙)35219代理人林祥翔徐剑兵(51)Int.Cl.G06F17/30(2006.01)H04L29/08(2006.01)权利要求书4页说明书11页附图7页(54)发明名称一种实时生成演唱视频的方法和系统(57)摘要本发明涉及多媒体技术领域，特别涉及一种实时生成演唱视频的方法和系统。一种实时生成演唱视频的方法，包括步骤：获取演唱视频；生成基础素材；获取渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述演唱视频。用户可通过多种渠道实时自定义基础素材，基础素材资源丰富，且可对基础素材进行预编辑，使得显示效果更加丰富的同时用户体验性更好；渲染模板的制作采用3D建模和3D引擎技术，渲染模板包含多种特效组合，使得显示效果更加生动酷炫、视觉效果更加好；渲染后的视频播放过程中，可以多个用户同时进行追加素材，对于追加素材将优先被播放，可实现多用户间的实时互动，大大提高互动性和趣味性。CN108647313ACN108647313A权利要求书1/4页1.一种实时生成演唱视频的方法，其特征在于，包括步骤：播放歌曲的视频画面和/或音频，实时获取基础素材；选择预置的渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面；实时获取追加素材；根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示。2.根据权利要求1所述的一种实时生成演唱视频的方法，其特征在于，所述步骤“实时获取追加素材；根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示”具体为：实时获取追加素材；发送所述追加素材至数字终端可访问的位置；数字终端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示；或实时获取追加素材并发送至云端；云端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；将所述渲染后的歌曲视频画面发送到数字终端可访问的位置；数字终端获取所述渲染后的歌曲视频画面后进行实时显示。3.根据权利要求1或2所述的一种实时生成演唱视频的方法，其特征在于，所述根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示中，所述实时渲染操作具体为：将追加素材读取到显存中作为GPU处理的输入；GPU执行预制着色语言程序对显存中的追加素材实时处理输出到framebuffer中待显示；其中所述预制着色语言程序效果包括滤镜、抠图、人脸识别或叠加。4.根据权利要求1所述的一种实时生成演唱视频的方法，其特征在于，所述“选择预置的渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面”，还包括步骤：在云端预置渲染模板；发送所述歌曲的视频画面和所述基础素材至云端；云端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；将渲染后的歌曲视频画面发送至数字终端可访问的位置；或在云端预置渲染模板；发送所述基础素材至云端；2CN108647313A权利要求书2/4页云端根据所述渲染模板对基础素材进行预渲染，形成初步渲染素材；发送所述初步渲染素材至数字终端可访问的位置；数字终端将所述初步渲染素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；或在数字终端预置渲染模板；发送所述基础素材、歌曲视频画面至数字终端可访问的位置；数字终端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面。5.根据权利要求1至4任一所述的一种实时生成演唱视频的方法，其特征在于，所述“获取基础素材”，包括步骤：获取移动终端、云端或数字终端多媒体素材，和/或通过摄像头实时获取多媒体素材，和/或获取特定网页。6.根据权利要求5所述的一种实时生成演唱视频的方法，其特征在于，所述“获取基础素材”后，还包括步骤：对所述基础素材进行预编辑，所述预编辑操作包括下列中的一种或两种以上：调整文字字体、大小，调整图片显示效果，添加壁纸或音频变声。7.根据权利要求1所述的一种实时生成演唱视频的方法，其特征在于，所述“渲染模板”包括下列中的一种或两种以上：辅助效果素材、3D模型、贴图、特效、动画、滤镜或素材与特效组合显示。8.根据权利要求1所述的一种实时生成演唱视频的方法，其特征在于，还包括步骤：数字终端将渲染后的歌曲视频画