用于图像逆渲染的方法、装置、设备和介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972112A(43)申请公布日2022.08.30(21)申请号202210689653.X(22)申请日2022.06.17(71)申请人如你所视（北京）科技有限公司地址100085北京市海淀区上地六街弘源首著大厦一号楼8层(72)发明人李臻王灵丽黄翔潘慈辉(74)专利代理机构北京思源智汇知识产权代理有限公司11657专利代理师郑晓斐(51)Int.Cl.G06T5/00(2006.01)G06T7/50(2017.01)G06T7/60(2017.01)G06T5/50(2006.01)G06T15/50(2011.01)权利要求书2页说明书12页附图6页(54)发明名称用于图像逆渲染的方法、装置、设备和介质(57)摘要本公开实施例公开了一种用于图像逆渲染的方法、装置、电子设备和存储介质，其中，方法包括：将待处理图像输入特征预测模型，经特征预测模型预测待处理图像的几何特征和材质特征，得到待处理图像的几何特征图和材质特征图，几何特征图包括法向图和深度图，材质特征图包括反照率特征图、粗糙度特征图和金属度特征图；将待处理图像、几何特征图和材质特征图输入光照预测模型，逐像素预测待处理图像的光照值，得到待处理图像的光照特征图；基于几何特征图、材质特征图和光照特征图，对待处理图像进行预设处理。克服了简化的材质表示对逆渲染过程中表观获取的限制，有助于提升逆渲染预测的材质、几何和光照的物理正确性。CN114972112ACN114972112A权利要求书1/2页1.一种用于图像逆渲染的方法，其特征在于，包括：将待处理图像输入特征预测模型，经所述特征预测模型预测所述待处理图像的几何特征和材质特征，得到所述待处理图像的几何特征图和材质特征图，其中，所述几何特征图包括法向图和深度图，所述材质特征图包括反照率特征图、粗糙度特征图和金属度特征图；将所述待处理图像、所述几何特征图和所述材质特征图输入光照预测模型，经所述光照预测模型逐像素预测所述待处理图像的光照值，得到所述待处理图像的光照特征图；基于所述几何特征图、所述材质特征图和所述光照特征图，对所述待处理图像进行预设处理。2.根据权利要求1所述的方法，其特征在于，将所述待处理图像、所述几何特征图和所述材质特征图输入光照预测模型，经光照预测模型逐像素预测所述待处理图像的光照特征，得到所述待处理图像的光照特征图，包括：利用所述光照预测模型对所述待处理图像、所述几何特征图和所述材质特征图进行处理，预测所述待处理图像中的像素点的光照值，并基于预测得到的光照值生成该像素点对应的全景图像；拼接所述待处理图像中的像素点对应的全景图像，得到所述光照特征图。3.根据权利要求2所述的方法，其特征在于，还包括获取所述特征预测模型和所述光照预测模型的步骤：将样本图像输入预训练的特征预测模型，预测所述样本图像的几何特征和材质特征，得到所述样本图像的样本几何特征图和样本材质特征图；将所述样本图像、所述样本几何特征图和所述样本材质特征图输入预训练的光照预测模型，预测所述样本图像中像素点的光照值，得到所述样本图像的样本光照特征图；利用可微渲染模块，基于所述样本几何特征图、所述样本材质特征图和所述样本光照特征图生成渲染图像；基于所述样本图像与所述渲染图像之间的差异，调整所述预训练的特征预测模型和所述预训练的光照预测模型的参数，直至满足预设训练完成条件，得到所述特征预测模型和所述光照预测模型。4.根据权利要求3所述的方法，其特征在于，还包括获取所述预训练的光照特征预测模型的步骤：获取初始光照特征预测模型对样本数据进行处理得到的初始光照特征图；基于所述初始光照特征图与样本标签之间的差异，确定预测损失函数的值；基于所述初始光照特征图中相邻像素点的光照值之间的差异以及所述相邻像素点的深度之间的差异，确定空间连续损失函数的值；基于所述预测损失函数的值和所述空间连续损失函数的值，训练所述初始光照特征预测模型，得到所述预训练的光照特征预测模型。5.根据权利要求4所述的方法，其特征在于，基于所述初始光照特征图中相邻像素点的光照值之间的差异以及所述相邻像素点的深度之间的差异，确定空间连续损失函数的值，包括：将所述初始光照特征图中的像素点的光照值向相邻像素点投影，得到所述初始光照特征图中的像素点的投影光照值，并确定所述初始光照特征图中的像素点的光照值与投影光2CN114972112A权利要求书2/2页照值之间的差值；基于所述初始光照特征图中的像素点深度梯度以及预设的连续性权重参数，确定缩放因子，所述缩放因子与所述深度梯度正相关；基于所述差值与所述缩放因子，确定所述空间连续损失函数的值。6.根据权利要求1至5之一所述的方法，其特征在于，得到所述待处理图像的几何特征图和材质特征图之后