基于光度立体的自由视角重光照方法和系统.pdf

(19)中华人民共和国国家知识产权局*CN101872491A*(12)发明专利申请(10)申请公布号CNCN101872491101872491A(43)申请公布日2010.10.27(21)申请号201010188306.6(22)申请日2010.05.21(71)申请人清华大学地址100084北京市100084-82信箱(72)发明人戴琼海李冠楠(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人黄德海(51)Int.Cl.G06T15/50(2006.01)G03B35/08(2006.01)G03B15/02(2006.01)权利要求书4页说明书10页附图3页(54)发明名称基于光度立体的自由视角重光照方法和系统(57)摘要本发明提出一种基于光度立体的自由视角重光照方法，包括利用多视角摄像阵列采集目标物体的多视角动态视频图像；根据采集的所述多视角动态视频图像获取所述目标物体的三维模型及模型表面反射特性；获得所述目标物体的静态三维物体重光照模型及所述目标物体的三维运动轨迹；根据所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型；和基于用户给定的任意自由视角，对所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体的自由视角重光照。本发明提供了一种高效的、支持自由视角观察的动态场景重光照方法。CN1087249ACN101872491ACCNN110187249101872492A权利要求书1/4页1.一种用于动态场景的，基于光度立体的自由视角重光照方法，其特征在于，包括以下步骤：在预设的可控变化光照条件下，利用多视角摄像阵列采集目标物体的多视角动态视频图像；根据采集的所述多视角动态视频图像获取所述目标物体的三维模型及模型表面反射特性；根据所述目标物体的三维模型和模型表面反射特性获得所述目标物体的静态三维物体重光照模型，并根据所述三维模型、模型表面反射特性及所述多视角动态视频图像获得所述目标物体的三维运动轨迹；根据所述目标物体的三维运动轨迹和所述静态三维物体重光照模型获得所述目标物体在各时刻的动态三维物体重光照模型；和基于用户给定的任意自由视角，对所述目标物体的动态三维物体重光照模型进行依赖所述自由视角的渲染，以实现所述目标物体的自由视角重光照。2.如权利要求1所述的方法，其特征在于，还包括：根据所述预设的可控变化光照条件设置可控光源序列，所述可控光源序列包括多个LED光源。3.如权利要求2所述的方法，其特征在于，还包括：对所述多视角摄像阵列进行几何及颜色校准，以及对所述多视角摄像阵列和所述可控光源序列进行同步校准。4.如权利要求2所述的方法，其特征在于，还包括：在采集场景中央放水晶球，在所述预设的可控光照序列下利用所述多视角摄像阵列对所述水晶球进行拍摄；和对拍摄的多视角视频中各帧水晶球图像进行全景拼图，得到各时刻对应的场景光照环境图。5.如权利要求4所述的方法，其特征在于，所述获取目标物体的三维模型及模型表面反射特性的步骤包括：利用获得的每个单视角中所述目标物体的动态视频，获取所述目标物体在对应的单视角中的可见区域表面的法向和反射特性信息；和对获取的目标物体在各个单视角中的可见区域表面的法向和反射特性信息进行融合，以获取所述目标物体的三维模型及模型表面反射特性。6.如权利要求5所述的方法，其特征在于，所述利用获得的每个单视角的动态视频，获取目标物体在对应的单视角中的可见区域表面的法向和反射特性的步骤包括：对获得的每个单视角的动态视频中均匀光照下拍摄的两个图像帧进行对齐操作，并获得所述目标物体的二维运动轨迹；对已获得的二维运动轨迹进行插值，并将变化光照下拍摄的各图像帧与均匀光照下拍摄的图像帧对齐；利用鲁棒的主分量分析方法RPCA对变化光照和均匀光照下的各图像帧中像素的置信度进行筛选；以及利用得到的高置信度光照条件下采集得到的图像帧，基于多项式纹理模型恢复所述目2CCNN110187249101872492A权利要求书2/4页标物体在所述单视角中的可见区域表面的法向及反射特性信息。7.如权利要求6所述的方法，其特征在于，所述利用得到的高置信度光照条件下采集得到的图像帧，基于多项式纹理模型恢复所述目标物体在单视角中的可见区域表面的法向及反射特性信息的步骤包括：根据漫反射光照模型Id＝ρd(N*L)，恢复所述目标物体在单视角中的可见区域表面的法向N及漫反射特性ρd，其中，L根据所述场景光照环境图计算获得；根据镜面反射特性Is＝I-Id，其中，I为采集的图像帧中的像素值，并基于多项式纹理模型恢复相应可见区域表面的镜面反射特性其中，分别对应1到k阶的镜面反射多项式系数；和对所述漫反射特性ρd和所述镜面反射特性进行综合得到所述可见