渲染模型训练方法、渲染方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114445546A(43)申请公布日2022.05.06(21)申请号202210118001.0(22)申请日2022.02.08(71)申请人百果园技术（新加坡）有限公司地址新加坡巴西班让路枫树商业城30号楼15层31A(72)发明人张彤胡忠冰(74)专利代理机构北京中原华和知识产权代理有限责任公司11019专利代理师孙磊寿宁(51)Int.Cl.G06T15/50(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书11页附图3页(54)发明名称渲染模型训练方法、渲染方法、装置、设备及存储介质(57)摘要本发明涉及一种渲染模型训练方法、渲染方法、装置、设备及存储介质，该方法包括：将第二场景的图像输入第一机器学习模组，提取对应的高维特征；将高维特征输入至第二机器学习模组，根据高维特征得到对应的光照参数；将光照参数和第一场景的待渲染数据输入至可微分渲染模组，采用可微分渲染方式根据光照参数对第一场景进行渲染得到光照融合的渲染图像；根据渲染图像与标签图像计算损失，对损失计算梯度图，并进行反向传播，以利用梯度下降方式对第一机器学习模组和第二机器学习模组的权重进行更新。利用本发明的渲染模型训练方法和渲染方法，有利于准确提取光照参数，并且能够使得渲染得到的整体图像光照的一致，得到极具真实感的结果图像。CN114445546ACN114445546A权利要求书1/2页1.一种渲染模型训练方法，其特征在于，所述方法包括以下步骤：获取一个或更多个训练数据，所述训练数据包括第一场景的待渲染数据、具有光照的第二场景的图像、以及第一场景的标签图像；将所述第二场景的图像输入至第一机器学习模组，所述第一机器学习模组用于提取与所述第二场景的图像对应的高维特征，其中，所述高维特征用于表征所述第二场景的图像中所包含的物体和/或环境的信息；将所述高维特征输入至第二机器学习模组，所述第二机器学习模组用于根据所述高维特征得到与所述第二场景对应的光照参数；将所述光照参数和所述第一场景的所述待渲染数据输入至可微分渲染模组，所述可微分渲染模组用于采用可微分渲染方式根据所述光照参数对所述第一场景进行渲染得到光照融合的渲染图像；根据所述光照融合的渲染图像与所述标签图像计算损失，对所述损失计算梯度图，并对所述可微分渲染模组、所述第一机器学习模组和所述第二机器学习模组进行反向传播，以利用梯度下降方式对所述第一机器学习模组和所述第二机器学习模组的权重进行更新；经过多轮训练迭代，在达到目标条件后，得到包括所述第一机器学习模组、所述第二机器学习模组和所述可微分渲染模组的渲染模型。2.根据权利要求1所述的渲染模型训练方法，其特征在于，所述采用可微分渲染方式根据所述光照参数对所述第一场景进行渲染包括：在计算目标函数时，计算相对于输入参数的积分以得到输出结果；所述对所述可微分渲染模组、所述第一机器学习模组和所述第二机器学习模组进行反向传播包括：在对所述目标函数进行反向传播时，对与所述输出结果对应的损失进行相对于所述输入参数的微分。3.根据权利要求1所述的渲染模型训练方法，其特征在于，所述光照参数包括光源的数量、各个光源的光照类型、位置、光照强度、颜色、朝向、尺寸之中的一个或多个。4.根据权利要求1所述的渲染模型训练方法，其特征在于，在所述第一场景中，包含虚拟物体、或同时包括虚拟物体和真实场景中的真实物体；在所述第二场景中，包括真实场景中的真实物体。5.根据权利要求1所述的渲染模型训练方法，其特征在于，所述第一机器学习模组为深度学习模组，包括k个下采样层和2k个循环卷积层，其中k为自然数。6.根据权利要求1所述的渲染模型训练方法，其特征在于，所述第二机器学习模组为多层感知机模组，包括三个神经网络块，每个神经网络块共享参数；其中，每个神经网络块包括顺序排列的第一隐藏层、第一激活层、第二隐藏层、第二激活层和第三隐藏层。7.根据权利要求1所述的渲染模型训练方法，其特征在于，所述根据所述光照参数对所述第一场景进行渲染，包括：根据所述光照参数对所述第一场景进行全局光照渲染。8.一种渲染方法，其特征在于，所述方法包括以下步骤：2CN114445546A权利要求书2/2页将第三场景的待渲染数据输入至根据权利要求1到7中任意一项所述的渲染模型训练方法得到的已训练好的渲染模型中的可微分渲染模组，将第四场景的图像输入至所述渲染模型中的第一机器学习模组，以对所述第四场景的图像提取光照参数并根据所述光照参数对所述第三场景进行渲染，得到所述第三场景的光照融合的渲染图像。9.一种渲染模型训练装置，其特征在于，所述装置包括：获取模块，用于获取一个或更多个训练数据，所述训练数据包括第一场景的待渲染数据、具