视频融合方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113989173A(43)申请公布日2022.01.28(21)申请号202111243155.4(22)申请日2021.10.25(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人焦少慧苏再卿杜绪晗程京吴泽寰(74)专利代理机构北京远智汇知识产权代理有限公司11659代理人范坤坤(51)Int.Cl.G06T5/50(2006.01)G06T3/00(2006.01)权利要求书2页说明书13页附图3页(54)发明名称视频融合方法、装置、电子设备及存储介质(57)摘要本公开公开了一种视频融合方法、装置、电子设备及存储介质，该方法包括：接收待融合前景视频流中的各待融合前景视频帧和待融合背景视频流中的各待融合背景视频帧；确定与待融合背景视频帧相对应的融合参数；根据与待融合前景视频帧相对应的目标前景处理方式和融合参数，确定与待融合前景视频帧相对应的目标待融合对象；根据目标待融合对象以及待融合背景视频帧，确定显示在目标终端的目标融合视频帧。本公开实施例的技术方案，实现了视频融合普适性，从而提高用户使用体验的技术效果。CN113989173ACN113989173A权利要求书1/2页1.一种视频融合方法，其特征在于，包括：接收待融合前景视频流中的待融合前景视频帧和待融合背景视频流中的待融合背景视频帧；确定与所述待融合背景视频帧相对应的融合参数；根据与所述待融合前景视频帧相对应的目标前景处理方式和所述融合参数，确定与所述待融合前景视频帧相对应的目标待融合对象；根据所述目标待融合对象以及所述待融合背景视频帧，确定显示在目标终端的目标融合视频帧。2.根据权利要求1所述的方法，其特征在于，所述确定与所述待融合背景视频帧相对应的融合参数，包括：确定所述待融合背景视频帧的色温参数。3.根据权利要求1所述的方法，其特征在于，确定待融合背景视频帧，包括：根据获取到的目标场景的深度视频流，确定与所述目标场景相对应的三维模型，并根据所述三维模型确定所述待融合背景视频帧；或，根据预先设置的相机渲染参数对虚拟场景进行渲染，得到所述待融合背景视频帧；或，基于摄像装置拍摄目标区域的二维视频流，得到所述待融合背景视频帧。4.根据权利要求1所述的方法，其特征在于，所述根据与所述待融合前景视频帧相对应的目标前景处理方式和所述融合参数，确定与所述待融合前景视频帧相对应的目标待融合对象，包括：根据所述待融合背景视频帧的视频类型，确定与所述待融合前景视频帧相对应的目标前景处理方式；根据所述目标前景处理方式和所述融合参数对所述待融合前景视频帧进行处理，得到目标待融合对象。5.根据权利要求4所述的方法，其特征在于，所述视频类型包括三维视频流类型，所述目标前景处理方式包括深度估算子方式、图像空间融合子方式和抠图算法，根据所述目标前景处理方式对所述待融合前景视频帧进行处理，得到目标待融合对象，包括：基于所述抠图算法，确定所述待融合前景视频帧中的待融合对象；基于所述深度估算子方式确定所述待融合前景视频帧的待处理深度信息；基于所述图像空间融合子方式对所述待处理深度信息、待融合对象和所述融合参数，确定所述目标待融合对象。6.根据权利要求4所述的方法，其特征在于，所述视频类型包括二维视频流，所述目标前景处理方式包括抠图算法，根据所述目标前景处理方式对所述待融合前景视频帧进行处理，得到目标待融合对象，包括：基于所述抠图算法，确定所述待融合前景视频帧中的待处理融合对象；通过对所述融合参数和所述待处理融合对象进行白平衡调整，确定所述目标待融合对象。7.根据权利要求4所述的方法，其特征在于，所述视频类型包括基于虚拟场景生成的虚拟视频流类型，所述目标前景处理方式包括前景相机参数变化子方式，根据所述目标前景处理方式对所述待融合前景视频帧进行处理，得到目标待融合对象，包括：2CN113989173A权利要求书2/2页获取与所述虚拟视频流类型相对应的待融合背景视频帧的虚拟相机参数；确定与所述待融合前景视频帧相对应的前景相机参数；基于所述前景相机变化子方式对所述前景相机参数和所述虚拟相机参数进行处理，得到目标变换参数，并基于所述目标变换参数调整所述待融合前景视频帧中的待处理融合对象，得到所述目标待融合对象。8.根据权利要求1所述的方法，其特征在于，所述根据所述目标待融合对象以及所述待融合背景视频帧，确定显示在目标终端的目标融合视频帧，包括：将所述目标待融合对象添加到所述待融合背景视频帧中，得到显示在所述目标终端的目标融合视频帧。9.一种视频融合装置，其特征在于，包括：视频帧接收模块，用于接收待融合前景视频流中的待融合前景视频帧和待融合背景视频流中的待融合