一种图像处理方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116168076A(43)申请公布日2023.05.26(21)申请号202111406521.3(22)申请日2021.11.24(71)申请人腾讯科技（深圳）有限公司地址518044广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人陈法圣林之阳孙磊(74)专利代理机构北京同达信恒知识产权代理有限公司11291专利代理师朱佳(51)Int.Cl.G06T7/73(2017.01)G06T7/80(2017.01)G06T15/00(2011.01)权利要求书2页说明书17页附图11页(54)发明名称一种图像处理方法、装置、设备及存储介质(57)摘要本申请实施例提供了一种图像处理方法、装置、设备及存储介质，可应用于云技术、人工智能、智慧交通、车载等各种场景，该方法包括：获取通过真实拍摄设备拍摄的待处理图像后，通过待处理图像中的位置参考图案在图像坐标系中的第一位置信息，以及在世界坐标系中的第二位置信息，确定真实拍摄设备的位姿信息，使得拍摄待处理图像与获得位姿信息是同步对齐的，故基于内参信息和位姿信息，将待处理图像中的目标对象图像与虚拟背景图像进行融合，获得目标图像时，保证了画面渲染的准确性，从而提高了虚拟制片获得的视频的呈现效果。不需要借助专业级别的硬件来解决定位器与拍摄画面同步的问题，降低了虚拟制片的成本，利于虚拟制片的广泛应用。CN116168076ACN116168076A权利要求书1/2页1.一种图像处理方法，其特征在于，包括：获取通过真实拍摄设备拍摄的待处理图像，所述待处理图像包括目标对象图像；若在所述待处理图像中检测到至少一个位置参考图案，则分别确定所述至少一个位置参数图案，各自在图像坐标系中的第一位置信息，以及各自在世界坐标系中的第二位置信息；基于各个第一位置信息、各个第二位置信息、以及所述真实拍摄设备的内参信息，确定所述真实拍摄设备的目标位姿信息；基于所述内参信息和所述目标位姿信息，将所述目标对象图像与虚拟背景图像进行融合，获得目标图像。2.如权利要求1所述的方法，其特征在于，还包括：若在所述待处理图像中没有检测到位置参考图案，则将所述真实拍摄设备拍摄前一个待处理图像时对应的历史位姿信息，作为所述目标位姿信息。3.如权利要求1所述的方法，其特征在于，所述确定所述至少一个位置参数图案，各自在图像坐标系中的第一位置信息，包括：针对所述至少一个位置参考图案，分别执行以下步骤：将检测获得的一个位置参考图案包含的至少一个特征点，各自对应的特征点编号，以及各自在所述图像坐标系中的第一特征点坐标，作为所述一个位置参考图案的第一位置信息。4.如权利要求3所述的方法，其特征在于，所述确定所述至少一个位置参数图案，各自在世界坐标系中的第二位置信息，包括：基于检测获得的嵌入在所述一个位置参考图案中的图案编号，查询获得所述至少一个特征点，各自对应的特征点编号，以及各自在所述世界坐标系中的第二特征点坐标；将获得的各个特征点编号以及相应的第二特征点坐标，作为所述一个位置参考图案的第二位置信息。5.如权利要求4所述的方法，其特征在于，所述基于各个第一位置信息、各个第二位置信息、以及所述真实拍摄设备的内参信息，确定所述真实拍摄设备的目标位姿信息，包括：针对所述至少一个位置参考图案，分别执行以下步骤：基于一个位置参考图案包含的至少一个特征点各自对应的特征点编号，对所述至少一个特征点各自对应的第一特征点坐标和各自对应的第二特征点坐标进行分组，获得所述一个位置参考图案对应的特征点坐标对集合，所述特征点坐标对集合中的每个特征点坐标对包括一个第一特征点坐标和一个第二特征点坐标；基于所述至少一个位置参考图案各自对应的特征点坐标对集合，以及所述真实拍摄设备的内参信息，确定所述真实拍摄设备的目标位姿信息。6.如权利要求1所述的方法，其特征在于，所述待处理图像还包括真实背景图像；所述基于所述内参信息和所述目标位姿信息，将所述目标对象图像与虚拟背景图像进行融合，获得目标图像之前，还包括：获取所述真实背景图像中的绿幕区域和非绿幕区域之间的边界线在所述世界坐标系中的第三位置信息；基于所述第三位置信息、所述内参信息和所述目标位姿信息，确定所述边界线在所述2CN116168076A权利要求书2/2页图像坐标系中的第四位置信息；去除所述待处理图像中的所述绿幕区域的图像，获得预处理图像；基于所述第四位置信息，去除所述预处理图像中，位于所述边界线之外的非绿幕区域的图像，获得所述目标对象图像。7.如权利要求1所述的方法，其特征在于，所述基于所述内参信息和所述目标位姿信息，将所述目标对象图像与虚拟背景图像进行融合，获得目标图像，包括：基于所述内参信息，确定所述真实拍摄设备的视场角度；基于所述内参信息、所述