一种基于单目摄像机的光照估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109523617A(43)申请公布日2019.03.26(21)申请号201811197312.0(22)申请日2018.10.15(71)申请人中山大学地址510275广东省广州市海珠区新港西路135号(72)发明人纪庆革林辉钟圳伟(74)专利代理机构广州市华学知识产权代理有限公司44245代理人林梅繁(51)Int.Cl.G06T15/00(2011.01)G06T7/593(2017.01)G06N3/04(2006.01)权利要求书3页说明书5页附图1页(54)发明名称一种基于单目摄像机的光照估计方法(57)摘要本发明涉及计算机图形学，为基于单目摄像机的光照估计方法，包括以下步骤：单目摄像机采集RGB图像，作为深度估计的输入；构建用于单目摄像机深度估计的卷积神经网络并进行训练；将RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；将深度预测值进行上采样，使深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；将RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用亮度通道信息、深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数。该方法通过单目摄像机获取真实场景中各方向光源信息，有效提高AR技术中渲染虚拟物体的逼真效果。CN109523617ACN109523617A权利要求书1/3页1.一种基于单目摄像机的光照估计方法，其特征在于，包括以下步骤：第一步、单目摄像机采集RGB图像，作为深度估计的输入；第二步、构建用于单目摄像机深度估计的卷积神经网络，对卷积神经网络进行训练；将RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；第三步、将深度预测值进行上采样，使得深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；第四步、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数。2.根据权利要求1所述的光照估计方法，其特征在于，第二步所述卷积神经网络包括网络前端的卷积层和全连接层，深度估计的具体步骤如下：S21、网络前端的卷积层用于提取图像中不同种类的特征信息，全连接层用于包含整张图像的视野，并输出深度预测值；S22、对于预测深度y和真实深度y*，定义尺度不变均方误差：其中：*通过对比输出像素点i、j的关系来表示误差，并令di＝logyi-logy为像素点i预测值和真实值的差别，有以下等价定义：损失函数：S24、使用随机梯度下降法调整卷积神经网络参数使得损失函数达到最优。3.根据权利要求2所述的光照估计方法，其特征在于，卷积神经网络中，每个卷积层的后面还增加池化层。4.根据权利要求1所述的光照估计方法，其特征在于，第三步包括如下步骤：S31、沿着深度预测图的边缘产生半径为r的区域，标志区域内的像素点为不可作为深度参考的像素点，从而产生一个与深度预测图相同尺寸的模板图像M；S32、对深度预测图进行上采样使得深度预测图与原始图像的尺寸一致；S33、将深度估计处理过程中产生的及所输出的对数域的深度预测值，转换为一般数域2CN109523617A权利要求书2/3页下的深度值。5.根据权利要求4所述的光照估计方法，其特征在于，第四步的光照估计，具体步骤如下：S41、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，取得亮度通道信息；S42、选用带阴影的漫反射光照模型，物体上x点的渲染结果L为：其中，Li(x,ωi)为ωi方向上的入射光，V为可见性函数，N为x点法线，V、N通过深度信息运算得出，为x点简化的BRDF系数；漫反射光照模型中的辐射传输项为：RDS＝V(ωi)max(Nx·ωi,0)S43、把辐射传输项投影成球谐系数：xj为球谐函数采样点，N为采样点数目，Y为球谐函数基底；S44、利用球谐函数的正交性，将积分形式的渲染结果L转化为其子项的球谐函数系数的点乘形式，物体上x点的光照结果如下：其中，c为对应的球谐函数系数，k为球谐函数所用的频带数，I不包含BRDF项，I(x)通过亮度获得，从深度信息中获得；S45、从Z个采样点中求解以下超定方程组Ay＝b，获得光源的球谐函数的系数A是Z个采样点对应的球谐系数矩阵，每个采样点都有k2个辐射传输的球谐系数；其中，采样点亮度过低或者在模板图像M中被标记为不可做深度参考的采样点，则视为无效采样点，需要重新选择采样点，直到采样点数目达Z个。6.根据权利要求1所述的光照估计方法，其特征在于，所述光照