图像渲染方法、装置、设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822977A(43)申请公布日2021.12.21(21)申请号202110721851.5G06T7/11(2017.01)(22)申请日2021.06.28(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层申请人大连理工大学(72)发明人卢湖川陈建川张莹康頔暴林超(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人张所明(51)Int.Cl.G06T15/00(2011.01)G06T17/00(2006.01)G06T7/80(2017.01)权利要求书3页说明书28页附图9页(54)发明名称图像渲染方法、装置、设备以及存储介质(57)摘要本申请公开了一种图像渲染方法、装置、设备以及存储介质，属于计算机技术领域。通过本申请实施例提供的技术方案，在对图像渲染模型进行训练时，基于样本对象的形状参数和姿态参数对样本对象进行了三维重建，基于相机参数、形状参数以及姿态参数来确定渲染参数，在确定渲染参数时考虑了虚拟相机以及样本对象的影响，渲染参数与样本对象的三维模型更加匹配，基于渲染参数对第一目标图像进行渲染，得到第一渲染图像，基于第一渲染图像与样本视频帧之间的差异信息来训练图像渲染模型，这样得到的图像渲染模型具有更强的图像渲染能力。CN113822977ACN113822977A权利要求书1/3页1.一种图像渲染方法，其特征在于，所述方法包括：基于样本视频帧，获取样本对象的形状参数和姿态参数，所述样本视频帧包括所述样本对象；基于所述形状参数和所述姿态参数，对所述样本对象进行三维重建，得到所述样本对象的三维模型；通过图像渲染模型，基于虚拟相机的相机参数、所述形状参数以及所述姿态参数，确定多个第一渲染参数，所述虚拟相机的相机参数与拍摄所述样本视频帧的真实相机的相机参数相同；基于所述多个第一渲染参数，对第一目标图像进行渲染，输出第一渲染图像，所述第一目标图像为所述虚拟相机对所述三维模型进行拍摄得到的图像；基于所述样本视频帧和所述第一渲染图像之间的差异信息，对所述图像渲染模型进行训练，所述图像渲染模型用于渲染所述虚拟相机拍摄的图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述形状参数和所述姿态参数，对所述样本对象进行三维重建，得到所述样本对象的三维模型包括：通过所述形状参数对基准三维模型的形状进行调整，通过所述姿态参数对所述基准三维模型的姿态进行调整，得到所述样本对象的三维模型，所述基准三维模型是基于多个对象的形状参数和姿态参数训练得到的。3.根据权利要求1所述的方法，其特征在于，所述基于样本视频帧，获取样本对象的形状参数和姿态参数之前，所述方法还包括：对所述样本视频帧进行图像分割，得到目标区域，所述目标区域为所述样本对象所在的区域；所述基于样本视频帧，获取样本对象的形状参数和姿态参数包括：基于所述目标区域，获取所述样本对象的形状参数和姿态参数。4.根据权利要求1所述的方法，其特征在于，所述基于所述样本视频帧，获取所述样本对象的形状参数和姿态参数包括：基于所述样本视频帧，对所述样本对象进行姿态估计，得到所述样本对象的姿态参数；基于样本视频中的多个视频帧，对所述样本对象进行形状估计，得到所述样本对象的多个参考形状参数，一个所述参考形状参数对应于一个所述视频帧，所述样本视频包括所述样本视频帧；基于所述多个参考形状参数，确定所述样本对象的形状参数。5.根据权利要求1所述的方法，其特征在于，所述相机参数包括所述虚拟相机在所述第一虚拟空间中的位置参数，所述基于所述相机参数、所述形状参数和所述姿态参数，确定多个第一渲染参数包括：基于所述位置参数和所述虚拟相机对所述三维模型的视角，在第一虚拟空间中确定至少一条虚拟射线，所述虚拟射线为所述虚拟相机与所述第一目标图像上像素点的连线，所述第一虚拟空间为基于所述相机参数建立的虚拟空间；基于所述至少一条虚拟射线上的多个第一采样点的坐标、所述形状参数以及所述姿态参数，确定所述多个第一渲染参数，所述第一采样点的坐标为所述第一采样点在所述第一虚拟空间中的坐标。6.根据权利要求5所述的方法，其特征在于，所述基于所述至少一条虚拟射线上的多个2CN113822977A权利要求书2/3页第一采样点的坐标、所述形状参数以及所述姿态参数，确定所述多个第一渲染参数包括：基于所述多个第一采样点的坐标、所述姿态参数以及参考姿态参数，将所述多个第一采样点变换到第二虚拟空间中，得到多个第二采样点，一个所述第一采样点对应一个所述第二采样点，所述参考姿态参数为所述第二虚拟空间对应的姿态参数，所述第二采样点的坐标为所述第二采样点在所述第二虚拟空间中的坐标；基于所述多个第二采样点在所