视频剪辑方法及其装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113747239A(43)申请公布日2021.12.03(21)申请号202111049167.3H04N21/433(2011.01)(22)申请日2021.09.08(71)申请人北京快来文化传播集团有限公司地址100055北京市西城区莲花池东路16号3幢2层209室(72)发明人邵泉杜建平(74)专利代理机构北京晟睿智杰知识产权代理事务所(特殊普通合伙)11603代理人于淼(51)Int.Cl.H04N21/44(2011.01)G06T9/00(2006.01)H04N5/262(2006.01)H04N19/169(2014.01)权利要求书2页说明书9页附图2页(54)发明名称视频剪辑方法及其装置(57)摘要本发明公开了视频剪辑方法及其装置，第一图像帧和虚拟对象构成第一视频数据；利用mediacodec技术对第一视频数据进行解码得到视频解码数据，将视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频；利用OpenGL技术对具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧；利用mediacodec技术将多个具有虚拟对象的第三图像帧进行重新编码生成目标视频。通过增强现实技术用户即可观看到基于真实环境叠加有虚拟对象的视频画面，以使虚拟对象更好地融合在真实环境中；基于多模态信息和相似度匹配相结合的方式，使其得到的关键视频更为精确。CN113747239ACN113747239A权利要求书1/2页1.一种视频剪辑方法，其特征在于，包括以下步骤：采集源视频数据，所述源视频数据包括至少一个第一图像帧；基于AR场景对第一图像帧进行渲染得到虚拟对象，所述第一图像帧和所述虚拟对象构成第一视频数据，其中，所述虚拟对象与所述第一图像帧中预设特征标记相匹配；利用mediacodec技术对所述第一视频数据进行解码得到视频解码数据，将所述视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频，其中，将所述视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频包括：将视频解码数据中至少一个具有所述虚拟对象的所述第一图像帧进行细节分割，得到多个具有虚拟对象的第二图像帧；根据与所述多个具有虚拟对象的第二图像帧中相关的多模态信息，对所述多个具有虚拟对象的第二图像帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息，其中，多模态信息包括文本信息、音频信息、动作信息、色调信息和物体信息中的至少一种；根据特征融合信息，对所述多个具有虚拟对象的第二图像帧进行相似度匹配，根据相似度匹配结果得到具有虚拟对象的关键视频；利用OpenGL技术对所述具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧；利用mediacodec技术将所述多个具有虚拟对象的第三图像帧进行重新编码生成目标视频。2.根据权利要求1所述的视频剪辑方法，其特征在于，所述根据特征融合信息，对所述多个具有虚拟对象的第二图像帧进行相似度匹配，根据相似度匹配结果得到具有虚拟对象的关键视频之后包括：读取所述关键视频中的每个第二图像帧，并将读取后的所述每个第二图像帧依次存储至缓存队列中；在所述缓存队列中获取所述关键视频，将所述关键视频预先提交给所述mediacodec编码器。3.根据权利要求2所述的视频剪辑方法，其特征在于，所述利用OpenGL技术对所述具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧：创建OpenGL环境，将所述关键视频中每个具有虚拟对象的第二图像帧依次发送给绘图表面进行纹理操作；利用绘图线程渲染当前具有虚拟对象的第二图像帧，当前具有虚拟对象的第二图像帧渲染完成后，再处理下一个具有虚拟对象的第二图像帧，直至每个关键视频中不存在具有虚拟对象的第二图像帧。4.根据权利要求3所述的视频剪辑方法，其特征在于，所述利用mediacodec技术将所述多个具有虚拟对象的第三图像帧进行重新编码生成目标视频包括：根据所述关键视频中多个具有虚拟对象的第二图像帧的渲染顺序，将关键视频中多个具有虚拟对象的第二图像帧整理成为一个对象；将所述对象过一遍整体效果后输出到mediacodec编码器中进行编码，并提取封面帧。5.一种视频剪辑装置，其特征在于，包括：2CN113747239A权利要求书2/2页源视频数据采集模块，用于采集源视频数据，所述源视频数据包括至少一个第一图像帧；第一视频数据构成模块，用于基于AR场景对第一图像帧进行渲染得到虚拟对象，所述第一图像帧和所述虚拟对象构成第一视频数据，其中，所述虚拟对象与所述第一图像帧中预设特征标记相匹配