基于深度学习的微表面材质重建方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112419334A(43)申请公布日2021.02.26(21)申请号202011297904.7G06T15/60(2006.01)(22)申请日2020.11.18G06N3/04(2006.01)G06K9/62(2006.01)(71)申请人山东大学地址250101山东省济南市高新区舜华路1500号(72)发明人徐延宁赵烨梓王璐曾峥龚斌孟祥旭(74)专利代理机构济南圣达知识产权代理有限公司37221代理人黄海丽(51)Int.Cl.G06T7/11(2017.01)G06T5/50(2006.01)G06T15/00(2011.01)G06T15/06(2011.01)权利要求书3页说明书8页附图4页(54)发明名称基于深度学习的微表面材质重建方法及系统(57)摘要本发明公开了基于深度学习的微表面材质重建方法及系统，包括：获取真实世界材质的拍摄图像；将材质的拍摄图像输入到预训练生成器网络中，输出具有比拍摄图像更高分辨率的漫反射贴图、反射贴图、粗糙度贴图和法向贴图；将以上贴图绘制出一张渲染图像，该渲染图像所呈现的材质外观与拍摄图像相似。利用基于对抗生成网络框架，在神经网络中使用绘制模块将将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像，并用判别器模块对该渲染图像与真实材质拍摄图进行判别，从而避免了传统利用机器学习的方法需要依赖大量材质贴图标签的缺陷，减少了材质采集的难度。CN112419334ACN112419334A权利要求书1/3页1.基于深度学习的微表面材质重建方法，其特征是，包括：获取真实世界材质的拍摄图像；将材质的拍摄图像输入到训练后的材质重建与合成的网络框架中，材质重建与合成的网络框架中的生成器网络输出漫反射贴图、反射贴图、粗糙度贴图和法向贴图；将漫反射贴图、反射贴图、粗糙度贴图和法向贴图绘制出一张渲染图像。2.如权利要求1所述的方法，其特征是，在获取真实世界材质的拍摄图像之后，在将材质的拍摄图像输入到预训练生成器网络中步骤之前，还包括：对真实世界材质的拍摄图像进行伽马矫正和随机裁切。3.如权利要求1所述的方法，其特征是，所述材质重建与合成的网络框架，具体结构包括：依次连接的生成器网络模块、绘制模块和判别器网络模块。4.如权利要求3所述的方法，其特征是，所述生成器网络模块，包括编码器和解码器；其中，编码器包括：依次连接的第一卷积层、第一实例归一化层、第一线性整流单元、第二卷积层、第二实例归一化层、第二线性整流单元、第三卷积层、第三实例归一化层、第三线性整流单元、第四卷积层、第四实例归一化层、第四线性整流单元；其中，第一卷积层，用于提取图像的初级特征张量；第一实例归一化层，用于接收第一卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；第一线性整流单元，用于映射第一实例归一化层的输出，得到非线性输出结果；第二卷积层，用于接收第一线性整流单元的输出，进一步提取特征张量；第二实例归一化层，用于接收第二卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；第二线性整流单元，用于映射第二实例归一化层的输出，得到非线性输出结果；第三卷积层，用于接收第二线性整流单元的输出，进一步提取特征张量；第三实例归一化层，用于接收第三卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；第三线性整流单元，用于映射第三实例归一化层的输出，得到非线性输出结果；第四卷积层，用于接收第三线性整流单元的输出，进一步提取特征张量；第四实例归一化层，用于接收第四卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；第四线性整流单元，用于映射第四实例归一化层的输出，得到非线性输出结果。5.如权利要求4所述的方法，其特征是，其中，解码器包括第一解码单元和第二解码单元：第一解码单元包括：依次连接的第一反卷积层、第五实例归一化层、第五线性整流单元、第二反卷积层、第六实例归一化层、第六线性整流单元、第三反卷积层、第七实例归一化层、第七线性整流单元、第四反卷积层、第八实例归一化层、第八线性整流单元、第五反卷积层、第九线性整流单元；其中，第一反卷积层，用于扩张特征张量维度；2CN112419334A权利要求书2/3页第五实例归一化层，用于接收第一反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；第五线性整流单元，用于映射第五实例归一化层的输出，得到非线性输出结果；第二反卷积层，用于接收第五线性整流单元的输出，进一步扩张特征张量维度；第六实例归一化层，用于接收第二反卷积层的输出，并进行标准化处理，使得网络的中间输出值更稳定；第六线性整流单元，用于映射第六实例归一化层的输出，得到非线性输出结果；第三反卷积层，用于接收第六线性整流单元的输