虚拟形象处理方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115830196A(43)申请公布日2023.03.21(21)申请号202211580659.X(22)申请日2022.12.09(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曹佳炯(74)专利代理机构北京国昊天诚知识产权代理有限公司11315专利代理师付先智(51)Int.Cl.G06T13/40(2011.01)G06T15/00(2011.01)G06T19/00(2011.01)G06V40/10(2022.01)G06F3/01(2006.01)权利要求书3页说明书13页附图4页(54)发明名称虚拟形象处理方法及装置(57)摘要本说明书实施例提供了虚拟形象处理方法及装置，其中，一种虚拟形象处理方法包括：获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像；对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征；将所述图像特征和对应用户图像的稀疏关键点输入关键点确定模型进行关键点确定，获得所述各用户图像的稠密关键点；基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形象。CN115830196ACN115830196A权利要求书1/3页1.一种虚拟形象处理方法，包括：获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像；对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征；将所述图像特征和对应用户图像的稀疏关键点输入关键点确定模型进行关键点确定，获得所述各用户图像的稠密关键点；基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形象。2.根据权利要求1所述的虚拟形象处理方法，所述对各用户图像进行图像特征识别，获得所述各用户图像在至少一个维度的图像特征步骤执行之后，还包括：对所述图像特征和对应用户图像进行融合处理，获得携带特征标记的标记图像；基于各标记图像调节对应摄像头的摄像头参数。3.根据权利要求2所述的虚拟形象处理方法，所述对所述图像特征和对应用户图像进行融合处理，获得携带特征标记的标记图像，包括：将所述图像特征和对应用户图像输入特征融合模型进行特征融合，获得横向标记图像和纵向标记图像；对所述横向标记图像和所述纵向标记图像进行特征合并，获得所述标记图像。4.根据权利要求2所述的虚拟形象处理方法，所述基于各标记图像调节对应摄像头的摄像头参数，包括：基于各标记图像中的光流标记，确定各标记图像中身体部位的移动距离和移动方向；按照所述移动距离和所述移动方向调节对应摄像头的摄像头参数。5.根据权利要求1所述的虚拟形象处理方法，所述稀疏关键点，基于所述对应用户图像进行关键点识别处理获得；所述基于所述对应用户图像进行关键点识别处理，包括：将所述对应用户图像输入关键点识别模型进行关键点识别处理，获得所述稀疏关键点。6.根据权利要求1所述的虚拟形象处理方法，所述摄像头集合由多个摄像头组成，所述摄像头集合中的摄像头用户采集所述接入设备的佩戴用户的身体部位的用户图像；所述摄像头集合中各摄像头采集包含至少一个身体部位的用户图像。7.根据权利要求1所述的虚拟形象处理方法，所述基于所述各用户图像的稠密关键点进行坐标映射，获得所述用户在所述虚拟世界中的虚拟形象，包括：基于所述各摄像头的标定关系，将所述各摄像头对应的稠密关键点映射至空间坐标系，获得所述用户各身体部位的空间坐标信息；根据所述空间坐标信息渲染所述虚拟形象。8.根据权利要求7所述的虚拟形象处理方法，若至少两个摄像头对应的稠密关键点包含同一身体部位的重合关键点，所述同一身体部位的空间坐标信息，采用如下方式确定：基于所述至少两个摄像头对应的稠密关键点包含的所述同一身体部位的至少两个重合关键点，计算所述同一身体部位的目标关键点；将所述目标关键点映射至所述预设坐标系，获得所述同一身体部位的空间坐标信息。2CN115830196A权利要求书2/3页9.根据权利要求1所述的虚拟形象处理方法，所述获取虚拟世界的接入设备配置的摄像头集合中各摄像头采集的用户在物理世界的用户图像步骤执行之前，还包括：基于所述各摄像头采集的初始用户图像，对所述各摄像头进行摄像头参数调节，以使所述各摄像头采集的用户的关键部位位于所述各摄像头的采集区域的中心位置。10.根据权利要求3所述的虚拟形象处理方法，所述对所述横向标记图像和所述纵向标记图像进行特征合并，获得所述标记图像，包括：计算所述横向标记图像与所述纵向标记图像的相关性；基于所述相关性对所述横向标记图像和所述纵向标记图像中的特征标记进行特征合并，获得所述标记图像。11.根据权利要求1