渲染网络训练和虚拟对象渲染方法、装置、设备及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114792359A(43)申请公布日2022.07.26(21)申请号202210721518.9(22)申请日2022.06.24(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人李杰张岩陈睿智赵晨滕禹桥丁二锐吴甜王海峰(74)专利代理机构北京品源专利代理有限公司11332专利代理师马迪(51)Int.Cl.G06T17/00(2006.01)G06T19/20(2011.01)G06T15/20(2011.01)G06K9/62(2022.01)权利要求书3页说明书12页附图6页(54)发明名称渲染网络训练和虚拟对象渲染方法、装置、设备及介质(57)摘要本公开提供了一种渲染网络训练和虚拟对象渲染方法、装置、设备及介质，涉及人工智能技术领域，具体涉及增强现实、虚拟现实、计算机视觉和深度学习等技术领域。具体实现方案为：获取样本白模贴图和所述样本白模贴图对应的样本高精贴图；将所述样本白模贴图输入至渲染网络，得到所述样本白模贴图的预测高精贴图；根据所述预测高精贴图和所述样本高精贴图，确定训练损失；采用所述训练损失，对所述渲染网络进行训练。根据本公开的技术，能够在部署有渲染网络的移动端实现虚拟对象的超写实渲染。CN114792359ACN114792359A权利要求书1/3页1.一种渲染网络训练方法，包括：获取样本白模贴图和所述样本白模贴图对应的样本高精贴图；将所述样本白模贴图输入至渲染网络，得到所述样本白模贴图的预测高精贴图；根据所述预测高精贴图和所述样本高精贴图，确定训练损失；采用所述训练损失，对所述渲染网络进行训练。2.根据权利要求1所述的方法，其中，所述根据所述预测高精贴图和所述样本高精贴图，确定训练损失，包括：基于对抗网络、特征网络和范数损失函数中的至少一种，根据所述预测高精贴图和所述样本高精贴图，确定训练损失。3.根据权利要求2所述的方法，其中，基于对抗网络，根据所述预测高精贴图和所述样本高精贴图，确定训练损失，包括：基于对抗网络，根据所述预测高精贴图，确定对抗预测结果；根据所述样本高精贴图，确定对抗监督数据；根据所述对抗预测结果和所述对抗监督数据，确定第一损失；根据所述第一损失，确定训练损失。4.根据权利要求3所述的方法，其中，所述基于对抗网络，根据所述预测高精贴图，确定对抗预测结果，包括：对所述预测高精贴图添加干扰特征，得到干扰高精贴图；将所述干扰高精贴图输入至对抗网络，得到对抗预测结果。5.根据权利要求2所述的方法，其中，基于特征网络，根据所述预测高精贴图和所述样本高精贴图，确定训练损失，包括：将所述预测高精贴图和所述样本高精贴图，分别输入所述特征网络，得到所述预测高精贴图的第一特征表示，以及所述样本高精贴图的第二特征表示；根据所述第一特征表示和所述第二特征表示，确定第二损失；根据所述第二损失，确定训练损失。6.根据权利要求2或3所述的方法，其中，所述采用所述训练损失，对所述渲染网络进行训练，包括：采用所述训练损失，对所述渲染网络和所述对抗网络进行联合训练。7.一种虚拟对象渲染方法，包括：对待渲染虚拟对象的三维模型进行白模渲染，得到所述三维模型对应的三维白模；确定所述三维白模的白模贴图；将所述白模贴图输入至渲染网络，得到所述白模贴图对应的高精贴图；其中，所述渲染网络通过权利要求1‑6中任一所述的渲染网络训练方法训练得到；在所述三维模型上显示所述高精贴图，得到所述待渲染虚拟对象的高精渲染结果。8.根据权利要求7所述的方法，其中，所述确定所述三维白模的白模贴图，包括：将所述三维白模输入至可微分渲染器，得到所述三维白模中点的颜色值；基于所述三维模型与纹理坐标贴图之间的映射关系，根据所述三维白模中点的颜色值，生成所述三维白模的白模贴图。9.根据权利要求7所述的方法，其中，所述对待渲染虚拟对象的三维模型进行白模渲2CN114792359A权利要求书2/3页染，得到所述三维模型对应的三维白模，包括：根据所述待渲染虚拟对象的组成结构，对所述待渲染虚拟对象进行区域划分；分别对各划分区域对应的三维模型进行白模渲染，得到各划分区域对应的三维模型的三维白模。10.一种渲染网络训练装置，包括：样本获取模块，用于获取样本白模贴图和所述样本白模贴图对应的样本高精贴图；预测贴图确定模块，用于将所述样本白模贴图输入至渲染网络，得到所述样本白模贴图的预测高精贴图；训练损失确定模块，用于根据所述预测高精贴图和所述样本高精贴图，确定训练损失；训练模块，用于采用所述训练损失，对所述渲染网络进行训练。11.根据权利要求10所述的装置，其中，所述训练损失确定模块包括：训练损失确定单元，用于基于对抗网络、特征网络和范数损失函数中的至少一种，