基于自由视角光照传输矩阵的重光照方法及系统.pdf

(19)中华人民共和国国家知识产权局*CN101917637A*(12)发明专利申请(10)申请公布号CN101917637A(43)申请公布日2010.12.15(21)申请号201010218137.6(22)申请日2010.06.24(71)申请人清华大学地址100084北京市100084-82信箱(72)发明人戴琼海李冠楠(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人宋合成(51)Int.Cl.H04N13/00(2006.01)G06T17/00(2006.01)G03B15/03(2006.01)权利要求书2页说明书5页附图3页(54)发明名称基于自由视角光照传输矩阵的重光照方法及系统(57)摘要本发明提出一种基于自由视角光照传输矩阵的重光照方法，包括以下步骤：利用多视角拍摄的可控光照下的场景成像信息；根据物体表面各点法线、光照、观察方向三者间的相对位置，生成支持各向异性光照特性表示的目标物体的自由视角光照传输矩阵；并结合依赖视角的模型渲染算法，实现自由视角的场景重光照操作。本发明针对各向异性的光照特性提出了一种实用的表示方法，并且支持自由视角的重光照效果观察。另外，本发明原理简单、明确，且易于实现。CN109763ACN101917637A权利要求书1/2页1.一种基于自由视角光照传输矩阵的重光照方法，其特征在于，包括以下步骤：在预设的可控变化光照条件下，利用摄像阵列在预设的多个曝光程度下分别采集目标物体对应的多组多视角视频图像；根据获得的所述多组多视角视频图像获得所述目标物体的反照率信息和在起始时刻的三维模型和表面法向；根据所述表面法向、光照方向和观察方向三者间的相对位置对多视角变光照的目标信息进行融合，以生成支持各向异性光照特性表示的所述目标物体的自由视角光照传输矩阵；根据所述表面法向和所述自由视角光照传输矩阵对所述目标物体进行重光照操作，以生成重光照目标物体模型；和结合依赖视角的模型渲染算法，实现自由视角的动态场景重光照。2.如权利要求1所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：获得所述预设的可控变化光照条件中各个光照状态对应的场景光照环境图。3.如权利要求2所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，所述获得预设的可控变化光照条件中各个光照状态对应的场景光照环境图进一步包括：在采集场景中央放置一枚水晶球，在所述预设的可控变化光照条件下利用所述摄像阵列对水晶球进行拍摄；对所述摄像阵列拍摄的视频中的各帧水晶球图像进行全景拼图，以获得所述预设的可控变化光照条件下各光照状态对应的场景光照环境图。4.如权利要求1所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：对所述摄像阵列进行几何和颜色校准，并将所述摄像阵列和所述可控光源进行同步校准，所述预设的可控变化光照条件由所述可控光源产生。5.如权利要求1所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：结合匹配特征点和多视角相机校准参数，利用鲁棒的主分量分析方法RPCA对所述目标物体的表面各点在不同光照条件下各视角采集数据中置信度进行筛选，选择高置信度的成像信息计算所述目标物体表面各点的反照率信息。6.如权利要求5所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：结合球谐函数光照模型对所述目标物体各点的法向进行优化，以获得所述目标物体精确的方向和三维模型。7.如权利要求6所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，所述根据表面法向、光照方向和观察方向三者间的相对位置对多视角变光照的目标信息进行融合，以生成支持各向异性光照特性表示的所述目标物体的自由视角光照传输矩阵进一步包括：在各个采集时刻，计算所述目标物体表面各个顶点的法向与该时刻光照方向之间的相对位置，以及该时刻所述法向与各个拍摄视角之间的相对位置；2CN101917637A权利要求书2/2页根据获得的所述法向与该时刻光照方向之间的相对位置，以及所述法向与各个拍摄视角之间的相对位置，将高置信度区域中的各像素分别填充至自由视角光照传输矩阵。8.如权利要求7所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：利用所述目标物体表面各点的反射属性的局部平滑及低秩特性作为约束，对填充后的自由视角光照传输矩阵进行恢复以生成完整的所述目标物体的自由视角光照传输矩阵。9.如权利要求8所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，所述根据表面法向和所述自由视角光照传输矩阵对所述目标物体进行重光照操作，以生成重光照目标物体模型包括：根据用户给定的光照环境，生成光照环境图，并将所述光照环境图表示为多种基光照环境图的线性叠加；根据所述多种基光照环境图计算多种基光照条件，以及各个采集时刻所述目标物体表面各