一种基于神经网络模型的单视图光照估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112509109A(43)申请公布日2021.03.16(21)申请号202011434315.9(22)申请日2020.12.10(71)申请人上海影创信息科技有限公司地址200120上海市浦东新区高行镇洲海路1068号(72)发明人徐迪李臻毛文涛孙立(74)专利代理机构北京世誉鑫诚专利代理有限公司11368代理人孙国栋(51)Int.Cl.G06T15/50(2011.01)G06N3/04(2006.01)权利要求书1页说明书3页(54)发明名称一种基于神经网络模型的单视图光照估计方法(57)摘要本发明公开的基于神经网络模型的单视图光照估计方法，涉及光照估计技术领域，通过使用平面检测神经网络模型对输入的二维图像中的各个平面进行标注，投射至三维空间内，生成三维点云，基于平面三维模型构建相应的能量方程，利用增强拉格朗日求解器迭代并优化该能量方程，得到平面三维模型表面的总体光照向量。利用第一自编码神经网络模型提取平面三维模型的光照深度特征；利用第二自编码网络模型提取目标虚拟物体的光照深度特征；利用生成对抗神经网络模型将平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上，得到虚拟物体对应的光照渲染效果，提高了光照结果的准确度及虚拟物体与真实物体融合的效果。CN112509109ACN112509109A权利要求书1/1页1.一种基于神经网络模型的单视图光照估计方法，其特征在于，包括：使用平面检测神经网络模型对输入的二维图像中的各个平面进行标注，得到所述二维图像对应的三维旋转平移矩阵；从所述各个平面中选取面积最大的平面，根据所述三维旋转平移矩阵将所述二维图像的各个像素点投射至三维空间内，生成三维点云；对所述三维点云做网格化处理，得到含有颜色信息的平面三维模型；基于所述平面三维模型表面的明暗关系、各个像素点的法向量，以及光照分段平滑的特性，构建相应的能量方程；利用增强拉格朗日求解器迭代并优化所述能量方程，得到所述平面三维模型表面的总体光照向量。2.根据权利要求1所述的基于神经网络模型的单视图光照估计方法，其特征在于，在得到所述平面三维模型表面的总体光照向量之后，所述方法还包括：利用第一自编码神经网络模型提取所述平面三维模型的光照深度特征；利用第二自编码网络模型提取目标虚拟物体的光照深度特征；利用生成对抗神经网络模型将所述平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上。3.根据权利要求2所述的基于神经网络模型的单视图光照估计方法，其特征在于，在利用生成对抗神经网络模型将所述平面三维模型的光照深度特征通过领域适应的形式迁移至目标虚拟物体上之后，所述方法还包括：将所述虚拟物体的光照深度特征为输入第一/二自编码神经网络模型，得到所述虚拟物体对应的光照渲染效果；在所述二维图像中的任意位置上加入渲染后的虚拟物体，融合所述虚拟物体与所述二维图像。4.根据权利要求2所述的基于神经网络模型的单视图光照估计方法，其特征在于，所述第一自编码网络模型包括卷积层、转置层和全连接层。5.根据权利要求2所述的基于神经网络模型的单视图光照估计方法，其特征在于，所述第二自编码网络模型包括卷积层、转置层和全连接层。6.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1‑5所述的方法。7.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1‑5所述的方法。2CN112509109A说明书1/3页一种基于神经网络模型的单视图光照估计方法技术领域[0001]本发明涉及光照估计技术技术领域，具体涉及一种基于神经网络模型的单视图光照估计方法。背景技术[0002]目前市面上的光照估计技术，均需要依靠单张二维图像去复原高动态全景图，而这类直接复原的方式具有极强的不适定性。即使由有监督学习的神经网络去实现，也因为训练数据的缺少而导致过拟合问题，从而导致在某些现实场景中得到的光照结果是错误的。发明内容[0003]为解决现有技术的不足，本发明实施例提供了一种基于神经网络模型的单视图光照估计方法，该方法包括以下步骤：[0004]使用平面检测神经网络模型对输入的二维图像中的各个平面进行标注，得到所述二维图像对应的三维旋转平移矩阵；[0005]从所述各个平面中选取面积最大的平面，根据所述三维旋转平移矩阵将所述二维图像的各个像素点投射至三维空间内，生成三维点云；[0006]对所述三维点云做网格化处理，得到含有颜色信息的平面三维模型；[0007]基于所述平面三维模型表面的明暗关系