一种基于神经网络的图像光照估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107464244A(43)申请公布日2017.12.12(21)申请号201710138209.8G06T11/00(2006.01)(22)申请日2017.03.09G06T15/00(2011.01)(71)申请人广东顺德中山大学卡内基梅隆大学国际联合研究院地址528300广东省佛山市顺德区大良街道办广东顺德中山大学卡内基梅隆大学国际联合研究院申请人中山大学(72)发明人赖剑煌郭春梅谢晓华(74)专利代理机构广州粤高专利商标代理有限公司44102代理人林丽明(51)Int.Cl.G06T7/10(2017.01)G06T7/46(2017.01)权利要求书1页说明书4页附图3页(54)发明名称一种基于神经网络的图像光照估计方法(57)摘要本发明提供一种基于神经网络的图像光照估计方法，可以很好的估计图像中光源方向、光源距离和光源能量。该方法通过3D模型的渲染方式产生带有光照标签的数据集，然后利用数据集训练具有强大学习能力的深度卷积神经网络，其中神经网络的输入是带有光照标签的图像，输出是光照值。对给定的任意图像，都可以通过该神经网络得到其光照值。首先本发明方法大大减少了采集光照数据集的成本和工作量，很好的解决了神经网络训练时需要大量样本问题。同时减少了人工标定的视觉误差，使神经网络的估计性能增强。其次本发明方法首次将深度卷积神经网络用到图像光照估计，给图像光照估计方法提供了新思路。CN107464244ACN107464244A权利要求书1/1页1.一种基于神经网络的图像光照估计方法，其特征在于，包括以下步骤：S1：采用随机方式生成一系列光照参数，光照参数为光源能量、光照距离、光源方位角、光源仰角；S2：三维模型渲染，在渲染通道加入光照参数生成二维图像，形成带有光照标签的合成图像集；S3：将合成图像集中的每张图像进行裁剪，形成已知光照值的训练数据集；S4：利用训练数据集训练深度卷积神经网络，其中带有光照标签的图像是神经网络的输入，光照值是神经网络的输出，对任意一幅图像，输入到训练好的神经网络中，可以得到其光照值。2.根据权利要求1所述的基于神经网络的图像光照估计方法，其特征在于，所述步骤S1中：所述光照参数中光源能量e和光照距离d的变化范围是(1,20)，光源方位角θ的变换范围是(0,360°)，光源仰角γ的变化范围是(-90°,90°)。3.根据权利要求1所述的基于神经网络的图像光照估计方法，其特征在于，所述步骤S2中：三维模型集来自ShapeNet数据集，渲染工具选用Blender，基于不同材料的表面对光照的反射和散射程度不同，故所选类别的表面属于不同材质，共14类进行合成。4.根据权利要求1所述的基于神经网络的图像光照估计方法，其特征在于，所述步骤S4中在训练神经网络估计光照时，提出深度卷积神经网络里所有的分类器都可以共享卷积层和全连接层。5.根据权利要求1所述的基于神经网络的图像光照估计方法，其特征在于，所述步骤S4中在训练深度卷积神经网络过程所用损失函数为：其中，Pv(s；cs)是光源方位角和光源仰角的采样概率，样本s来自类别cs的soft-max分类器，d(v,vs)是光源方位角θ和光源仰角γ之间的欧式距离，使用随机梯度下降法求出损失函数Lvp({s})的最小值就得到训练好的神经网络。2CN107464244A说明书1/4页一种基于神经网络的图像光照估计方法技术领域[0001]本发明涉及数字图像处理领域，更具体地，涉及一种基于神经网络的图像光照估计方法。背景技术[0002]不同的光照条件下，物体会产生不同的表面颜色、阴影，在进行图像处理时会得到完全不同的视觉效果。所以知道准确的光照值有着很重要的作用。[0003]现有图像光照估计研究方法主要分为两种，无监督光照估计和有监督光照估计。[0004]无监督光照估计是指不依赖于其他的先验知识，仅从图像的底层图像特征估计得到图像成像时的场景光照。经典的无监督光照估计算法都是通过图像信息建模来估计光源方位角和光源仰角。利用微元的角度对图像光照进行分析，最终得出一种适合整个物体表面光照的估计方法。但是这些方法在选取待估计区域有一定的要求：1)尽量选择光照良好的区域。2)选择的区域最好为同一物体且纹理和材质统一。但是在实际中几乎不可能同时满足这两个条件，所以这些算法都具有局限性。[0005]有监督估计主要是利用大量已知光照信息的照片学习到光照估计能力，然后利用光照估计能力估计未知光照值的照片。基于贝叶斯推理的光照估计方法具有很好的代表性。有监督光照估计需要大量已知光照值的照片，而现有的光照数据集是通过手动收集，由于人工标定成本较高，且人眼标定时存在视觉误差，致使现有的有监督光照估计方法性能较弱。[000