模型渲染方法、装置以及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116152412A(43)申请公布日2023.05.23(21)申请号202211728909.X(22)申请日2022.12.30(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人季浩宇张岩孙昊(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204专利代理师王达佐马晓亚(51)Int.Cl.G06T15/00(2011.01)G06T17/00(2006.01)权利要求书2页说明书8页附图4页(54)发明名称模型渲染方法、装置以及设备(57)摘要本公开提供了一种模型渲染方法、装置以及设备，涉及人工智能技术领域，具体为增强现实、深度学习和计算机视觉技术领域，可应用于渲染超写实数字人的场景。该方法的一具体实施方式包括：学习第一引擎中的第一精度的白模模型；学习第二引擎中的第二精度的多角度贴图数据，其中，第二精度高于第一精度，将多角度贴图数据映射到白模模型中，得到渲染模型。该实施方式降低了渲染对硬件算力的要求，能够实现实时端侧渲染。CN116152412ACN116152412A权利要求书1/2页1.一种模型渲染方法，包括：学习第一引擎中的第一精度的白模模型；学习第二引擎中的第二精度的多角度贴图数据，其中，所述第二精度高于所述第一精度，将所述多角度贴图数据映射到所述白模模型中，得到渲染模型。2.根据权利要求1所述的方法，其中，所述学习第二引擎中的第二精度的多角度贴图数据，包括：对所述第二引擎中的参考渲染模型进行不同角度的提取，得到参考多角度贴图数据；将所述参考多角度贴图数据和所述白模模型进行融合训练，得到所述多角度贴图数据。3.根据权利要求2所述的方法，其中，所述将所述参考多角度贴图数据和所述白模模型进行融合训练，得到所述多角度贴图数据，包括：确定所述白模模型的目标光照、目标视角和目标姿态纹理空间中的至少一项；将所述参考多角度贴图数据设置为与所述目标光照、目标视角和目标姿态纹理空间中的至少一项相同，生成所述多角度贴图数据。4.根据权利要求1所述的方法，其中，所述将所述多角度贴图数据映射到所述白模模型中，得到渲染模型，包括：将所述白模模型和所述多角度贴图数据进行拟合，生成在所述第一引擎中贴图与白模耦合的渲染数据；将所述渲染数据输入到所述第一引擎中，对所述白模模型进行渲染，得到所述渲染模型。5.根据权利要求4所述的方法，其中，所述将所述渲染数据输入到所述第一引擎中，对所述白模模型进行渲染，得到所述渲染模型，包括：将所述渲染数据输入到面部无线网格网络，依次对所述白模模型的面部进行面部表情驱动、骨骼驱动和展开着色，得到面部渲染模型；将所述面部渲染模型输入到整体无线网格网络，依次对所述面部渲染模型进行面部表情驱动、骨骼驱动和基于物理的着色与无光照着色，得到所述渲染模型。6.一种模型渲染装置，包括：第一学习模块，被配置成学习第一引擎中的第一精度的白模模型；第二学习模块，被配置成学习第二引擎中的第二精度的多角度贴图数据，其中，所述第二精度高于所述第一精度，渲染模块，被配置成将所述多角度贴图数据映射到所述白模模型中，得到渲染模型。7.根据权利要求6所述的装置，其中，所述第二学习模块包括：提取子模块，被配置成对所述第二引擎中的参考渲染模型进行不同角度的提取，得到参考多角度贴图数据；融合子模块，被配置成将所述参考多角度贴图数据和所述白模模型进行融合训练，得到所述多角度贴图数据。8.根据权利要求7所述的装置，其中，所述融合子模块进一步被配置成：确定所述白模模型的目标光照、目标视角和目标姿态纹理空间中的至少一项；2CN116152412A权利要求书2/2页将所述参考多角度贴图数据设置为与所述目标光照、目标视角和目标姿态纹理空间中的至少一项相同，生成所述多角度贴图数据。9.根据权利要求6所述的装置，其中，所述渲染模块包括：拟合子模块，被配置成将所述白模模型和所述多角度贴图数据进行拟合，生成在所述第一引擎中贴图与白模耦合的渲染数据；渲染子模块，被配置成将所述渲染数据输入到所述第一引擎中，对所述白模模型进行渲染，得到所述渲染模型。10.根据权利要求9所述的装置，其中，所述渲染子模块进一步被配置成：将所述渲染数据输入到面部无线网格网络，依次对所述白模模型的面部进行面部表情驱动、骨骼驱动和展开着色，得到面部渲染模型；将所述面部渲染模型输入到整体无线网格网络，依次对所述面部渲染模型进行面部表情驱动、骨骼驱动和基于物理的着色与无光照着色，得到所述渲染模型。11.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少