图像数据处理方法、装置、设备及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116109798A(43)申请公布日2023.05.12(21)申请号202310350889.5(22)申请日2023.04.04(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人李文娟(74)专利代理机构广州三环专利商标代理有限公司44202专利代理师杜维(51)Int.Cl.G06T17/20(2006.01)G06T15/04(2011.01)权利要求书5页说明书29页附图11页(54)发明名称图像数据处理方法、装置、设备及介质(57)摘要本申请实施例公开了图像数据处理方法、装置、设备及介质，可应用于图像处理技术领域。其中方法包括：获取目标视点头像图像，基于初始三维面部形状确定目标三维头像网格；对目标视点头像图像进行图像展开处理得到第一目标纹理贴图；基于第一目标纹理贴图得到纹理编码特征，在获取到图像编码特征时，基于纹理编码特征与图像编码特征得到纹理图像拼接特征，对纹理图像拼接特征解码得到第二目标纹理贴图；基于目标三维头像网格和第二目标纹理贴图得到目标渲染头像图像，以生成三维头部模型。采用本申请实施例，能够基于虚拟对象的头像图像自动化重建虚拟对象的三维头部模型，提升渲染得到的三维头部模型的模型渲染效果。CN116109798ACN116109798A权利要求书1/5页1.一种图像数据处理方法，其特征在于，所述方法包括：获取位于三维场景下的目标虚拟对象的头部部位对应的目标视点头像图像，在重构得到的所述目标视点头像图像的初始三维面部形状时，基于所述初始三维面部形状确定所述目标虚拟对象的头部部位在所述三维场景下的目标三维头像网格；基于所述目标三维头像网格对所述目标视点头像图像进行图像展开处理，得到所述目标视点头像图像对应的第一目标纹理贴图；对所述第一目标纹理贴图进行纹理编码处理，得到所述第一目标纹理贴图对应的纹理编码特征，在获取到所述目标视点头像图像的图像编码特征时，将所述纹理编码特征与所述图像编码特征进行特征拼接处理，得到用于进行纹理解码的纹理图像拼接特征，对所述纹理图像拼接特征进行纹理解码处理，得到所述第一目标纹理贴图对应的第二目标纹理贴图；所述第二目标纹理贴图的纹理质量优于所述第一目标纹理贴图的纹理质量；基于所述目标三维头像网格和所述第二目标纹理贴图得到目标渲染头像图像，基于得到的目标渲染头像图像生成所述目标虚拟对象的头部部位在所述三维场景下的三维头部模型。2.根据权利要求1所述的方法，其特征在于，所述图像编码特征是基于目标建模网络中的目标图像编码器所确定的，所述纹理编码特征是基于所述目标建模网络中的目标纹理编码器所确定的，所述第二目标纹理贴图是基于所述目标建模网络中的目标纹理解码器所确定的；所述方法还包括：获取位于三维场景下的训练虚拟对象的头部部位对应的训练视点头像图像，在重构得到的所述训练视点头像图像的训练三维面部形状时，基于所述训练三维面部形状确定所述训练虚拟对象的头部部位在所述三维场景下的训练三维头像网格；基于所述训练三维头像网格对所述训练视点头像图像进行图像展开处理，得到所述训练视点头像图像对应的第一训练纹理贴图；基于初始建模网络中的初始纹理编码器对所述第一训练纹理贴图进行纹理编码处理，得到所述第一训练纹理贴图对应的训练纹理特征，在基于所述初始建模网络中的初始图像编码器获取到所述训练视点头像图像的训练图像特征时，将所述训练纹理特征与所述训练图像特征进行特征拼接处理，得到用于进行纹理解码的训练拼接特征，基于所述初始建模网络中的初始纹理解码器对所述训练拼接特征进行纹理解码处理，得到所述第一训练纹理贴图对应的第二训练纹理贴图；基于所述训练三维头像网格和所述第二训练纹理贴图得到训练渲染图像；获取所述第二训练纹理贴图对应的参考纹理贴图，并基于所述参考纹理贴图和所述第二训练纹理贴图、所述训练渲染图像和所述训练视点头像图像，对所述初始建模网络进行迭代训练，并将迭代训练后的初始建模网络作为所述目标建模网络。3.根据权利要求2所述的方法，其特征在于，所述获取所述第二训练纹理贴图对应的参考纹理贴图，包括：获取所述初始建模网络对应的网络训练策略，在所述网络训练策略为第一训练策略时，从所述训练视点头像图像中提取出所述训练视点头像图像的皮肤区域，并计算所述训练视点头像图像的皮肤区域的平均颜色；2CN116109798A权利要求书2/5页基于所述训练视点头像图像确定所述训练虚拟对象的头部部位在所述三维场景下的训练三维头像网格，并基于所述训练三维头像网格对所述训练视点头像图像进行图像展开处理，得到所述训练视点头像图像对应的初始纹理贴图；获取模板纹理贴图，将所述平均颜色添加至所述模板纹理贴图，并对所述初始纹理贴图