一种纹理识别模型的训练、纹理迁移方法与相关装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114419335A(43)申请公布日2022.04.29(21)申请号202210010675.9(22)申请日2022.01.06(71)申请人百果园技术（新加坡）有限公司地址新加坡巴西班让路枫树商业城30号楼15层31A(72)发明人胡忠冰张彤(74)专利代理机构北京品源专利代理有限公司11332代理人杨义(51)Int.Cl.G06V10/44(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书17页附图4页(54)发明名称一种纹理识别模型的训练、纹理迁移方法与相关装置(57)摘要本发明提供了一种纹理识别模型的训练、纹理迁移方法与相关装置，该方法包括：获取第一图像数据；调用贴图检测网络从第一图像数据中提取多帧纹理贴图；调用参数检测网络从第一图像数据中提取纹理参数；将纹理贴图与纹理参数可微分地渲染至第一图像数据中的场景，获得第二图像数据；以第二图像数据作为监督信号，训练贴图检测网络与参数检测网络，贴图检测网络、参数检测网络不仅属于自动化操作，用户无感知，学习门槛低，而且具备将纹理渲染至场景的能力，使得设计师可以减少在纹理处理方面的操作，提高了操作的简便性，降低了建模耗费的时间和精力，从而提高了效率、降低了成本。CN114419335ACN114419335A权利要求书1/3页1.一种纹理识别模型的训练方法，其特征在于，所述纹理识别模型包括贴图检测网络、参数检测网络，所述方法包括：获取第一图像数据；调用所述贴图检测网络从所述第一图像数据中提取多帧纹理贴图；调用所述参数检测网络从所述第一图像数据中提取纹理参数；将所述纹理贴图与所述纹理参数可微分地渲染至所述第一图像数据中的场景，获得第二图像数据；以所述第二图像数据作为监督信号，训练所述贴图检测网络与所述参数检测网络。2.根据权利要求1所述的方法，其特征在于，所述贴图检测网络包括编码器、池化层、解码器；所述调用所述贴图检测网络从所述第一图像数据中提取多帧纹理贴图，包括：将所述第一图像数据输入所述编码器中执行编码操作，获得目标编码特征；将所述目标编码特征输入所述池化层中执行池化操作，获得目标池化特征；将所述目标池化特征输入所述解码层中执行解码操作，获得多帧纹理贴图。3.根据权利要求2所述的方法，其特征在于，所述编码器包括第一编码块、第二编码块、第三编码块，所述池化层包括空洞空间卷积池化金字塔，所述解码器包括第一解码块、第二解码块、第三解码块；所述将所述第一图像数据输入所述编码器中执行编码操作，获得目标编码特征，包括：将所述第一图像数据输入所述第一编码块中下采样，获得第一候选编码特征；将所述第一候选编码特征输入所述第二编码块中下采样，获得第二候选编码特征；将所述第二候选编码特征输入所述第三编码块中下采样，获得目标编码特征；所述将所述目标编码特征输入所述池化层中执行池化操作，获得目标池化特征，包括：将所述目标编码特征输入所述空洞空间卷积池化金字塔中执行多个尺度下的空洞卷积，得到多个候选池化特征，将多个所述候选池化特征融合为目标池化特征；所述将所述目标池化特征输入所述解码层中执行解码操作，获得多帧纹理贴图，包括：将所述目标池化特征输入所述第一解码块中上采样，获得第一解码特征；将所述第一解码特征与所述第二候选编码特征输入所述第二解码块中上采样，获得第二解码特征；将所述第二解码特征与所述第一候选编码特征输入所述第三解码块中上采样，获得多帧纹理贴图；其中，所述纹理贴图包括如下至少一种：漫反射贴图、高光贴图、法线贴图、粗糙度贴图。4.根据权利要求1所述的方法，其特征在于，所述参数检测网络包括特征提取网络、多层感知机；所述调用所述参数检测网络从所述第一图像数据中提取纹理参数，包括：将所述第一图像数据输入所述特征提取网络中提取纹理特征；将所述纹理特征输入所述多层感知机中映射为纹理参数。5.根据权利要求4所述的方法，其特征在于，所述特征提取网络包括第一残差块、第二残差块、第三残差块，所述多层感知机包括第一全连接层、第二全连接层；2CN114419335A权利要求书2/3页所述将所述第一图像数据输入所述特征提取网络中提取纹理特征，包括：将所述第一图像数据输入所述第一残差块中提取第一残差特征；将所述第一残差特征输入所述第二残差块中提取第二残差特征；将所述第二残差特征输入所述第三残差块中提取纹理特征；所述将所述纹理特征输入所述多层感知机中映射为纹理参数，包括：将所述纹理特征输入所述第一全连接层中映射为候选参数；将所述候选参数输入所述第二全连接层中映射为纹理参数。6.根据权利要求1‑5中任一项所述的方法，其特征在于，所述将所述纹理贴图与所述纹