一种基于可导渲染的场景光照与反射建模方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972617A(43)申请公布日2022.08.30(21)申请号202210712261.0(22)申请日2022.06.22(71)申请人北京大学地址100871北京市海淀区颐和园路5号(72)发明人施柏鑫于博涵杨思祺崔轩宁董思言陈宝权(74)专利代理机构北京挺立专利事务所(普通合伙)11265专利代理师高福勇(51)Int.Cl.G06T15/50(2011.01)G06T15/06(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书10页附图2页(54)发明名称一种基于可导渲染的场景光照与反射建模方法(57)摘要本发明公开了一种基于可导渲染的场景光照与反射建模方法，设计一种具有发光体多反射的室内场景逆渲染模型，增加几何条件约束，能够生成新视角的图像，这种模型可以很好地描述室内场景中常见的光源，可将光照属性真正分离，很好实现环境重光照任务，并且易于使用梯度下降方法进行恢复，应用范围广泛；同时本发明对光路进行了多次追踪，并分析了使用可导光线追踪方法进行多次追踪时所存在的三种二义性问题，分别设计了三种消除歧义的方法来解决它们，恢复效果更加真实，本发明还设计一种基于蒙特卡洛光线追踪算法的可导渲染器，该渲染器融入了我们设计的具有发光体多反射的室内场景逆渲染模型，并用来监督模型的训练学习。CN114972617ACN114972617A权利要求书1/3页1.一种基于可导渲染的场景光照与反射建模方法，其特征在于，包括以下步骤：S1、训练数据采集：使用合成数据集和真实数据集进行测试，合成数据选择PBRS数据集和AI2‑THOR数据集，将其中的特定场景转换为MILO‑Render的输入格式，重新进行重物理渲染，得到的新场景作为合成数据；真实数据包括深度相机采集到的扫描几何和全景相机采集到的照片；S2、数据调优对齐：将真实数据中采集的照片通过Debevec方法合并HDR照片，在场景中放置若干张Tag36h11AprilTag，在扫描几何和拍摄照片中分别识别这些标签，每张照片至少包含4个标签，以将全景相机采集到的照片和深度相机采集到的几何对齐，并在三维扫描时辅助相机位姿的注册；S3、材质光照参数生成：将几何信息输入到MILO‑Net中，生成六张参数贴图，六张参数贴图分别为：漫反射率贴图、镜面反射贴图、自发光贴图、环境光贴图、窗户贴图和粗糙度贴图；MILO‑Net首先对深度相机得到的几何图形进行UV展开，计算UV贴图上每个像素对应三维世界中的XYZ坐标，将其作为MLP网络的输入生成六张参数贴图；在使用网络生成贴图时，加入了一个数值损失项S4、图片渲染：对照片中的每一个像素，结合相机位姿传入MILO‑Renderer，生成渲染后的照片；MILO‑Renderer通过相机内外参矩阵和响应曲线，将其恢复为沿着光线方向所观察到的辐射度值，利用蒙特卡洛光线追踪算法对cook‑torrance反射模型进行近似求解，渲染方程如下：L(ωr,x)＝E(ωr,x)+∫ΩF(ωi,ωr,x)L(ωi,y)cosθdωi其中，ωr为反射光线的方向，ωi为入射光线的方向，x为入射光线与场景表面相交点，y为入射光线的光源所在点，L为y点处光源发出的方向为ωi的光线的辐射强度，E为光源模型，F为双向反射分布函数模型，θd为入射光线和表面法线的夹角，Ω为积分的上半球面；S5、监督学习：借助MILO‑Renderer渲染得到给定光线的辐射度，并使用以下损失函数来将其与照片中观察到的真实辐射度进行比较：其中，ωj为第j条光线的方向，xj为光线出发点，L(ωj,xj)为从xj点出发第j条光线最终算出的辐射值，Lj为每一辐射光线的真实辐射值，k为范式的阶数，M为观测到的辐射光线总数。2.根据权利要求1所述的基于可导渲染的场景光照与反射建模方法，其特征在于，步骤S1中，在使用合成数据集时，将多个虚拟摄像机放置到每个场景中，并使用MILO‑Render渲染用作真实值的图像。3.根据权利要求1所述的基于可导渲染的场景光照与反射建模方法，其特征在于，步骤S1中的真实数据，使用深度相机和三维扫描软件采集室内场景的几何模型，照片部分用360度全景相机进行拍照，拍照时使用多次曝光方法采集HDR图像，根据不同场景不同亮度，选择以2为底数，等比数列递增的7组曝光时间。4.根据权利要求1所述的基于可导渲染的场景光照与反射建模方法，其特征在于，步骤2CN114972617A权利要求书2/3页S2选择20到40个相机位姿点，用于对MILO‑Net行训练。5.根据权利要求1所述的基于可导渲染的场景光照与反射建模方法，其特征在于，步骤S3中，MILO‑Net对几何图形进行UV展开时，添