纹理生成模型的训练方法、图像处理方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112802075A(43)申请公布日2021.05.14(21)申请号202110146575.4(22)申请日2021.02.02(71)申请人网易(杭州)网络有限公司地址310052浙江省杭州市滨江区长河街道网商路599号4幢7层(72)发明人姚光明袁燚范长杰胡志鹏(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人钟扬飞(51)Int.Cl.G06T7/41(2017.01)G06T7/529(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书13页附图10页(54)发明名称纹理生成模型的训练方法、图像处理方法及装置(57)摘要本发明提供了一种纹理生成模型的训练方法、图像处理方法及装置，涉及图片生成技术领域，包括：获取预渲染得到的训练图像；将训练图像输入至纹理生成模型，通过纹理生成模型针对训练图像输出第一光照参数和第一纹理集；基于第一光照参数、第一纹理集和预设的联合损失函数计算联合损失值；利用联合损失值对纹理生成模型进行训练。本发明可以生成质量较高的纹理，同时显著降低光照对纹理的影响。CN112802075ACN112802075A权利要求书1/3页1.一种纹理生成模型的训练方法，其特征在于，包括：获取预渲染得到的训练图像；将所述训练图像输入至纹理生成模型，通过所述纹理生成模型针对所述训练图像输出第一光照参数和第一纹理集；基于所述第一光照参数、所述第一纹理集和预设的联合损失函数计算联合损失值；利用所述联合损失值对所述纹理生成模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述纹理生成模型包括光照估计网络和纹理预测网络；所述通过所述纹理生成模型针对所述训练图像输出第一光照参数和第一纹理集的步骤，包括：通过所述光照估计网络估计所述训练图像的第一光照参数，以及通过所述纹理预测网络生成所述训练图像的第一纹理集。3.根据权利要求2所述的方法，其特征在于，所述光照估计网络包括下采样卷积层和多层感知层；所述通过所述光照估计网络估计所述训练图像的第一光照参数的步骤，包括：通过所述下采样卷积层提取所述训练图像的光照特征；通过所述多层感知层根据所述光照特征输出所述训练图像的第一光照参数；其中，所述第一光照参数包括环境参数、散射参数、光照强度中的一种或多种。4.根据权利要求2所述的方法，其特征在于，所述纹理预测网络包括特征提取模块、特征补全模块和纹理解码模块；所述通过所述纹理预测网络生成所述训练图像的第一纹理集的步骤，包括：通过所述特征提取模块提取所述训练图像的可见面片特征和第一不可见面片特征；通过所述特征补全模块基于所述可见面片特征对所述第一不可见面片特征进行补全，得到第二不可见面片特征；通过所述纹理解码模块分别对所述可见面片特征和所述第二不可见面片特征进行解码，得到所述训练图像的第一纹理集。5.根据权利要求4所述的方法，其特征在于，所述通过所述特征提取模块提取所述训练图像的可见面片特征和第一不可见面片特征的步骤，包括：通过所述特征提取模块内的特征编码器对所述训练图像进行特征提取，得到所述训练图像对应的特征图；基于所述训练图像中各个像素的深度值对所述特征图进行采样，得到可见顶点特征和不可见顶点特征；对属于同一面片的可见顶点特征和/或不可见顶点特征进行平均处理，得到所述训练图像的可见面片特征和第一不可见面片特征；其中，如果所述面片包含一个或多个不可见顶点，确定所述面片对应的特征为第一不可见面片特征；如果所述面片不包含所述不可见顶点，确定所述面片对应的特征为可见面片特征。6.根据权利要求5所述的方法，其特征在于，所述基于所述训练图像中各个像素的深度值对所述特征图进行采样，得到可见顶点特征和不可见顶点特征的步骤，包括：判断所述训练图像中各个像素的深度值是否小于预设深度缓冲值；2CN112802075A权利要求书2/3页如果是，确定所述像素为可见顶点；如果否，确定所述像素为不可见顶点；利用双线性插值基于所述可见顶点和所述不可见顶点在所述特征图上进行采样，分别得到可见顶点特征和不可见顶点特征。7.根据权利要求4所述的方法，其特征在于，所述特征补全模块包括图编码器和图解码器；所述通过所述特征补全模块基于所述可见面片特征对所述第一不可见面片特征进行补全，得到第二不可见面片特征的步骤，包括：通过所述图编码器基于所述可见面片特征和所述训练图像对应的几何模型的几何信息，对所述第一不可见面片特征进行卷积操作和下采样操作；其中，所述图编码器包括多个第一图卷积层和多个图下采样层；通过所述图解码器基于所述可见面片特征和所述几何信息，对所述图编码器输出的特征进行卷积操作和上采样操作，得到第二不可见面片特征