图像处理方法、视频流场景切换方法、装置、设备及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113840049A(43)申请公布日2021.12.24(21)申请号202111095297.0(22)申请日2021.09.17(71)申请人阿里巴巴（中国）有限公司地址310052浙江省杭州市滨江区长河街道网商路699号4号楼5楼508室(72)发明人刘思佳(74)专利代理机构北京开阳星知识产权代理有限公司11710代理人郭鑫(51)Int.Cl.H04N5/222(2006.01)H04N5/262(2006.01)权利要求书2页说明书12页附图5页(54)发明名称图像处理方法、视频流场景切换方法、装置、设备及介质(57)摘要本公开实施例涉及一种图像处理方法、视频流场景切换方法、虚拟三维场景融合方法、装置、设备及介质。本公开的至少一个实施例中，通过预先拍摄的图像和该图像对应的深度信息确定虚拟三维场景，使得虚拟三维场景区别于目标图像的场景；进而将目标图像中的主体与虚拟三维场景融合，得到融合图像，在主体不变的情况下，实现将目标图像的场景切换为虚拟三维场景，使场景更丰富；另外，实现了将目标图像的二维场景切换为虚拟三维场景，使场景更生动。CN113840049ACN113840049A权利要求书1/2页1.一种图像处理方法，所述方法包括：确定目标图像待融合的虚拟三维场景，其中，所述虚拟三维场景基于预先拍摄的图像和该图像对应的深度信息确定；识别并提取所述目标图像中的主体；将所述主体与所述虚拟三维场景融合，生成所述目标图像对应的融合图像。2.根据权利要求1所述的方法，其中，所述预先拍摄的图像与所述目标图像为同一图或同一环境下拍摄的图。3.根据权利要求1或2所述的方法，其中，所述确定目标图像待融合的虚拟三维场景之前，所述方法还包括：获取预先拍摄的图像的深度信息；基于所述预先拍摄的图像和该图像对应的深度信息构建虚拟三维场景。4.根据权利要求3所述的方法，其中，所述获取预先拍摄的图像的深度信息包括：获取搭载激光雷达的图像采集设备预先拍摄的包含深度信息的图像，其中，所述深度信息由所述激光雷达采集；或者，获取未搭载激光雷达的图像采集设备预先拍摄的图像，并通过深度学习模型对所述预先拍摄的图像进行处理得到对应的深度信息。5.根据权利要求3所述的方法，其中，所述基于所述预先拍摄的图像和该图像对应的深度信息构建虚拟三维场景包括：基于所述预先拍摄的图像和该图像对应的深度信息构建初始三维模型；识别所述初始三维模型中的物体和地面；响应于标注操作，对所述初始三维模型进行区域标注，得到区域标注信息；基于所述初始三维模型中的物体和地面、所述区域标注信息，对所述初始三维模型进行渲染得到虚拟三维场景。6.根据权利要求1所述的方法，其中，所述将所述主体与所述虚拟三维场景融合之前，所述方法还包括：响应于所述虚拟三维场景中任一元素的替换操作，将所述替换操作针对的元素替换为所述替换操作指定的目标元素。7.一种视频流场景切换方法，所述方法包括：响应于虚拟三维场景的选择操作，从多个虚拟三维场景中获取所述选择操作指定的目标场景；其中，所述多个虚拟三维场景基于多个预先拍摄的图像和各图像对应的深度信息确定，且所述多个预先拍摄的图像为不同环境下拍摄的图；针对视频流中的每帧图像，识别并提取该帧图像中的主体；将所述主体与所述目标场景融合，得到所述目标场景的视频流。8.根据权利要求7所述的方法，其中，所述视频流为直播视频流或者视频会议视频流。9.一种虚拟三维场景融合方法，所述方法包括：提供内容上传控件，响应于用户触发所述内容上传控件，获取目标内容；提供虚拟三维场景确定控件，响应于用户触发所述虚拟三维场景确定控件，确定所述目标内容待融合的虚拟三维场景，其中，所述虚拟三维场景基于预先拍摄的图像和该图像2CN113840049A权利要求书2/2页对应的深度信息确定；提供融合控件，响应于用户触发所述融合控件，识别并提取所述目标内容中的主体，并将所述主体与所述虚拟三维场景融合，生成融合内容。10.一种图像处理装置，所述装置包括：确定单元，用于确定目标图像待融合的虚拟三维场景，其中，所述虚拟三维场景基于预先拍摄的图像和该图像对应的深度信息确定；识别提取单元，用于识别并提取所述目标图像中的主体；生成单元，用于将所述主体与所述虚拟三维场景融合，生成所述目标图像对应的融合图像。11.一种视频流场景切换装置，所述装置包括：获取单元，用于响应于虚拟三维场景的选择操作，从多个虚拟三维场景中获取所述选择操作指定的目标场景；其中，所述多个虚拟三维场景基于多个预先拍摄的图像和各图像对应的深度信息确定，且所述多个预先拍摄的图像为不同环境下拍摄的图；识别提取单元，用于针对视频流中的每帧图像，识别并提取该帧图像中的主体；融合单元，用于将所述主体与