一种基于单幅图像的室内场景光照环境估计方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108460841A(43)申请公布日2018.08.28(21)申请号201810065566.0(22)申请日2018.01.23(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人邢冠宇(74)专利代理机构成都厚为专利代理事务所(普通合伙)51255代理人刘贤科(51)Int.Cl.G06T19/00(2011.01)G06T15/50(2011.01)G06T7/50(2017.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于单幅图像的室内场景光照环境估计方法(57)摘要本发明公开了一种基于单幅图像的室内场景光照环境估计方法，增强现实技术领域，其主要包括下列步骤：步骤一：输入单幅图像；步骤二：场景建模；步骤三：光源强度计算；步骤四：光照环境合成；步骤五：输出最终用以渲染虚拟物体的光照分布。本发明利用恢复的光照绘制虚拟物体，并将绘制好的虚拟物体合成进背景图像，从而生成高度真实的虚实融合结果；使用了场景深度信息，能够对场景的几何信息进行自动分析，从而省去了人工交互。CN108460841ACN108460841A权利要求书1/2页1.一种基于单幅图像的室内场景光照环境估计方法，其特征在于，包括下列步骤：步骤一：输入单幅图像；步骤二：场景建模；步骤三：光源强度计算；步骤四：光照环境合成；步骤五：输出最终用以渲染虚拟物体的光照分布。2.根据权利要求1所述的基于单幅图像的室内场景光照环境估计方法，其特征在于，所述场景建模主要包括为获取场景几何模型的几何建模和获取场景中光源的位置的光源建模。3.根据权利要求1或2所述的基于单幅图像的室内场景光照环境估计方法，其特征在于，所述几何建模的步骤为：获取已输入的单幅图像所对应的深度图；根据所述深度图计算出场景几何模型。4.根据权利要求2所述的基于单幅图像的室内场景光照环境估计方法，其特征在于，所述场景几何模型是通过多个平面来逼近的，具体实现方法为：对于图像中出现的场景区域，首先对恢复的法向图进行聚类操作；对于划分为同一类的点，根据其三维位置采用平面拟合的方法求取平面，用这个平面逼近表示这类点所对应场景区域；对于图像没有出现的场景部分，则是通过可见区域的几何模型推断不可见场景部分的几何模型，具体方法为：假设场景位于一六面体盒子内，首先根据可见场景的平面模型寻找位于最左，最右，最前，最上和最下的平面，将其作为盒子的5个面，对于位于相机之后的那个面则通过人为设定获得，场景的不可见部分的几何就通过恢复的盒子来表示。5.根据权利要求3所述的基于单幅图像的室内场景光照环境估计方法，其特征在于，所述深度图通过基于图像的深度恢复技术获得或通过Kinect设备捕获。6.根据权利要求2所述的基于单幅图像的室内场景光照环境估计方法，其特征在于，所述光源建模的步骤为：图像中出现的光源即亮度饱和的像素的位置根据恢复的几何模型计算得出；所述图像中没有出现的光源则通过检测图像中的高光区域，根据高光区域的位置、重建的几何模型以及视点位置，基于反射定律算出；所述光源计算，基于如下公式计算得出：其中Ip表示图像I中像素p的值，ρp是像素p对应场景处的材质反射率，表示第i个光源<s,i>env,的亮度，Pp是由像素p对应场景处的法向量和光源方位、大小共同决定的参数，Ep是由像素p对应场景处的法向量和环境光共同决定的参数，λ对应于R,G,B三个颜色通道；<s,i>env,上述公式1中Pp根据p处的法向量和光源方位、大小直接计算，Ep能直接算出，因此公式中的未知参数仅剩ρp和这两个参数将通过迭代求解的策略进行计算，该迭代求解方法的第一步为：首先通过公式2求解材质系数ρp2CN108460841A权利要求书2/2页其中：采样像素集记为Ns，ω(p,q)为一权重函数用以惩罚像素值相差大的像素，μ为一个权重系数；迭代求解的第二步为：将得到的材质系数ρp带入公式1中，得到为未知数，采样像素点数目个方程的线性方程组，该方程组如式3所示：该方程组未知数添加非负约束，通过求解带约束的线性方程组即可实现对于光源强度的求解，上述迭代求解的第一步和第二步交替进行，直至收敛；收敛后求得的光照参数即为场景最终光照强度。7.根据权利要求1所述的基于单幅图像的室内场景光照环境估计方法，其特征在于，所述步骤四根据步骤二和步骤三的分析结果合成能用以进行真实感渲染的光照环境；首先确定要合成光照环境的点的位置，一般就是要放置虚拟物体的位置，将该点记为P，之后由P出发向周围空间若干采样方向发射射线，这些射线将同重建的场景模型求交，将交点信息按照具体方向存入一张HDR图像，便获取了P点处的光照环境。3CN108460841A说明书1