视频融合方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111291218A(43)申请公布日2020.06.16(21)申请号202010065820.4(22)申请日2020.01.20(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人姚锟洪智滨郭汉奇曾旭升(74)专利代理机构北京鸿德海业知识产权代理事务所(普通合伙)11412代理人田宏宾(51)Int.Cl.G06F16/738(2019.01)G06F16/783(2019.01)G06K9/62(2006.01)权利要求书6页说明书19页附图3页(54)发明名称视频融合方法、装置、电子设备及可读存储介质(57)摘要本申请公开了一种视频融合方法、装置、电子设备及可读存储介质，涉及计算机视觉技术。具体实现方案为根据用户视频的各视频帧图像和模板视频的各视频帧图像，获得用户视频的各视频帧图像中人脸图像的预测三维人脸网格；根据用户视频的各视频帧图像中人脸图像的用户三维人脸网格的用户纹理和模板视频的各视频帧图像中人脸图像的模板三维人脸网格的模板纹理，获得预测三维人脸网格的预测纹理；根据预测三维人脸网格、预测纹理和用户人脸姿态，以及模板人脸姿态，获得预测三维人脸网格的渲染人脸图像；对渲染人脸图像和模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像，并对其进行合成处理获得融合视频。CN111291218ACN111291218A权利要求书1/6页1.一种视频融合方法，其特征在于，包括：根据用户视频的各视频帧图像和模板视频的各视频帧图像，获得所述用户视频的各视频帧图像中人脸图像的预测三维人脸网格；根据所述用户视频的各视频帧图像中人脸图像的用户三维人脸网格的用户纹理和所述模板视频的各视频帧图像中人脸图像的模板三维人脸网格的模板纹理，获得各预测三维人脸网格的预测纹理；根据所述各预测三维人脸网格、所述各预测三维人脸网格的预测纹理和所述用户视频的各视频帧图像中人脸图像的用户人脸姿态，以及所述模板视频的各视频帧图像中人脸图像的模板人脸姿态，获得所述各预测三维人脸网格的渲染人脸图像；对所述各预测三维人脸网格的渲染人脸图像和所述模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像；对所述各融合视频帧图像进行合成处理，以获得融合视频。2.根据权利要求1所述的方法，其特征在于，所述根据所述用户视频的各视频帧图像中人脸图像的用户三维人脸网格的用户纹理和所述模板视频的各视频帧图像中人脸图像的模板三维人脸网格的模板纹理，获得各预测三维人脸网格的预测纹理，包括：根据各模板三维人脸网格的模板纹理，对各用户三维人脸网格的用户纹理进行平衡处理，以获得所述各预测三维人脸网格的预测纹理；或者对各用户三维人脸网格的用户纹理和各模板三维人脸网格的模板纹理进行融合处理，以获得所述各预测三维人脸网格的预测纹理。3.根据权利要求1所述的方法，其特征在于，所述根据所述用户视频的各视频帧图像中人脸图像的用户三维人脸网格的用户纹理和所述模板视频的各视频帧图像中人脸图像的模板三维人脸网格的模板纹理，获得各预测三维人脸网格的预测纹理之后，还包括：对所述各预测三维人脸网格的预测纹理进行平滑处理。4.根据权利要求1所述的方法，其特征在于，所述根据所述各预测三维人脸网格、所述各预测三维人脸网格的预测纹理和所述用户视频的各视频帧图像中人脸图像的用户人脸姿态，以及所述模板视频的各视频帧图像中人脸图像的模板人脸姿态，获得所述各预测三维人脸网格的渲染人脸图像，包括：根据所述用户人脸姿态和所述模板人脸姿态，获得姿态调整参数；根据所述姿态调整参数，对所述用户视频的各视频帧图像中人脸图像的预测三维人脸网格的融合人脸姿态进行姿态调整处理，以将所述融合人脸姿态从所述用户人脸姿态调整到所述模板人脸姿态；对姿态调整处理之后的所述用户视频的各视频帧图像中人脸图像的预测三维人脸网格进行投影处理；利用所述各预测三维人脸网格的预测纹理，对所述投影处理的投影结果进行渲染处理，以获得所述各预测三维人脸网格的渲染人脸图像。5.根据权利要求1所述的方法，其特征在于，所述对所述各预测三维人脸网格的渲染人脸图像和所述模板视频的各视频帧图像进行融合处理，以获得融合之后的各融合视频帧图像，包括：根据预先设置的人脸图像蒙版、所述用户视频的各视频帧图像中人脸图像的预测三维2CN111291218A权利要求书2/6页人脸网格和用户人脸姿态，以及所述模板视频的各视频帧图像中人脸图像的模板人脸姿态，获得所述用户视频的各视频帧图像中人脸图像的渲染蒙版图像；对所述用户视频的各视频帧图像中人脸图像的渲染蒙版图像、所述各预测三维人脸网格的渲染人脸图像和所述模板视频的各视频帧图像进行融合处理，以获得