用于在渲染图像中使用的可重新照明纹理.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112802173A(43)申请公布日2021.05.14(21)申请号202010879502.1(74)专利代理机构北京市金杜律师事务所(22)申请日2015.08.0711256代理人姚杰(30)优先权数据1414144.42014.08.08GB(51)Int.Cl.1418090.52014.10.13GBG06T15/50(2011.01)1418092.12014.10.13GBG06T15/04(2011.01)1418093.92014.10.13GB(62)分案原申请数据201510484716.82015.08.07(71)申请人想象技术有限公司地址英国赫特福德郡(72)发明人J·伊姆伯A·希尔顿J-Y·吉耶莫特权利要求书3页说明书20页附图8页(54)发明名称用于在渲染图像中使用的可重新照明纹理(57)摘要本公开的实施例涉及用于在渲染图像中使用的可重新照明纹理。可重新照明的自由视点渲染允许基于来自多个照相机视点的场景的多视图的场景的新视图被渲染和重新照明。可将来自多个照相机视点的图像值分离成漫射图像分量和镜面反射图像分量，使得通过使用分离的漫反射图像分量可以确定镜面反射场景的可重新照明纹理的本征颜色分量。而且，通过基于初始表面法线场的保守分量构建高度映射，然后基于所构建的高度映射确定细化的表面法线，可以对场景中几何的表面法线进行细化。CN112802173ACN112802173A权利要求书1/3页1.一种针对包括镜面反射分量的场景确定可重新照明纹理的本征颜色分量的方法，其中，所述场景的多个图像从相应的多个照相机视点被捕捉并被投射到表示所述场景中的对象的几何上，所述方法包括：基于来自一组多个图像的样本位置处的图像值中的最小图像值，确定纹理的多个所述样本位置的每个样本位置处的漫射图像分量值；使用所述漫射图像分量值来确定所述可重新照明纹理的所述本征颜色分量；以及存储所述可重新照明纹理的所述本征颜色分量，以用于后续在任意照明条件下从渲染视点来渲染所述场景的图像中使用。2.根据权利要求1所述的方法，还包括：接收已从相应的多个照相机视点被捕捉的所述场景的所述多个图像；分析所述场景的所述图像以构建表示所述场景中的所述对象的所述几何；以及将所述图像投射至所述几何上。3.根据权利要求2所述的方法，其中将所述图像投射至所述几何上包括翘曲所述图像的至少一个图像，使得所投射的所述图像彼此更好地对准。4.根据权利要求2或3所述的方法，还包括:执行所投射的所述图像的颜色校准，从而减少所投射的所述图像之间的差异。5.根据权利要求1‑3中的任一项所述的方法，其中针对在其中漫射图像分量值被确定的所述多个样本位置中的每个样本位置，所述一组多个图像包括在其中所述样本位置是可见的所述图像中的一些图像或所有图像。6.根据权利要求5所述的方法，其中所述一组多个图像仅包括那些图像，针对那些图像，所述样本位置处的表面法线和针对所述图像的所述照相机视点的观察方向之间的角度小于阈值角度。7.根据权利要求1‑3中的任一项所述的方法，其中针对所述图像中的每个图像漫射图像分量值被确定，其中对于特定图像，在所述样本位置的每个样本位置处的所述漫射图像分量值是基于如下来确定：来自包括特定图像和具有所述样本位置的可见性的所述图像的至少另一图像的一组图像的所述样本位置处的所述图像值中的所述最小图像值。8.根据权利要求7所述的方法，其中所述特定图像从特定照相机视点被捕捉，并且其中所述图像的所述至少另一图像包括从所述特定照相机视点的最近邻的照相机视点捕捉的多个所述图像。9.根据权利要求7所述的方法，还包括：针对所述图像中的每个图像，通过从所述纹理的所述样本位置处的所述图像值减去针对所述图像的所述漫射图像分量值来确定镜面反射图像分量值。10.根据权利要求9所述的方法，还包括：使用所述图像的所确定的所述镜面反射图像分量值来确定辐射估计。11.根据权利要求10所述的方法，其中所确定的所述辐射估计是：(i)与所述漫射图像分量值一起使用以确定所述可重新照明纹理的所述本征颜色分量，和/或(ii)用于估计所述可重新照明纹理的镜面反射颜色分量。12.根据权利要求1‑3中的任一项所述的方法，其中使用所述漫射图像分量值以确定所述可重新照明纹理的所述本征颜色分量包括：2CN112802173A权利要求书2/3页使用所述漫射图像分量值以确定所述场景的照明估计；以及使用所确定的所述照明估计将所述漫射图像分量值分离成所述可重新照明纹理的所述颜色分量以及针对所述纹理的所述样本位置的每一样本位置的表面阴影估计。13.根据权利要求12所述的方法，还包括：使用针对相应样本位置所确定的所述照明估计和所确定的所述表面阴影估计来确定所述