使用多相机和深度相机阵列的基于图像的图像渲染方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108369639A(43)申请公布日2018.08.03(21)申请号201680072442.4(74)专利代理机构北京博思佳知识产权代理有(22)申请日2016.12.09限公司11415代理人林祥(30)优先权数据62/265,9982015.12.11US(51)Int.Cl.G06K9/00(2006.01)(85)PCT国际申请进入国家阶段日2018.06.11(86)PCT国际申请的申请数据PCT/US2016/0656892016.12.09(87)PCT国际申请的公布数据WO2017/100487EN2017.06.15(71)申请人虞晶怡地址美国特拉华州(72)发明人虞晶怡权利要求书1页说明书7页附图10页(54)发明名称使用多相机和深度相机阵列的基于图像的图像渲染方法和系统(57)摘要一种用于捕捉图像和深度以进行基于图像渲染的方法和系统。通过使用图像相机和深度相机组合，利用多相机结构进行捕捉。渲染利用了从图像和深度数据导出的场景几何。CN108369639ACN108369639A权利要求书1/1页1.一种渲染新图像的方法，包括：使用图像相机获取图像组，使用深度相机获取深度图像组，根据所述深度图像组将深度图像转换为场景几何呈现，使用所述场景几何呈现根据所述图像组渲染出新图像，以生成符合新型相机的视角的重建图像。2.根据权利要求1所述的渲染新图像的方法，其中，场景几何是从点云导出的。3.根据权利要求2所述的渲染新型图像的方法，其中，所述点云是从来自所述相机的深度信息中导出的。4.根据权利要求2所述的渲染新型图像的方法，其中，所述相机是深度相机。5.根据权利要求2所述的渲染新型图像的方法，其中，所述相机是图像加深度相机的混合体。6.根据权利要求1所述的渲染新图像的方法，其中，所述方法还包括：利用图像相机校准深度相机。7.根据权利要求6所述的渲染新图像的方法，其中，所述校准使用深度可识别的对象。8.根据权利要求6所述的渲染新图像的方法，其中，所述校准使用已知对象。9.根据权利要求6所述的渲染新图像的方法，其中，所述校准使用多个相机可见的对象。10.根据权利要求1所述的渲染新图像的方法，其中，所述场景几何被用于确定要用于最终图像的光线。11.根据权利要求10所述的渲染新图像的方法，其中，用于最终像素的光线被确定为相对于共同位置与新型相机的光线具有相似深度的光线。12.一种用于创建图像渲染的系统，包括：一个或多个相机的结构；计算场景几何并渲染图像的处理器；和存储输入数据的存储介质。13.根据权利要求12所述的用于创建图像渲染的系统，其中，所述一个或多个相机包括深度相机和图像相机。14.根据权利要求12所述的用于创建图像渲染的系统，其中，所述一个或多个相机包括深度相机和图像相机。2CN108369639A说明书1/7页使用多相机和深度相机阵列的基于图像的图像渲染方法和系统[0001]可以使用多种技术创建图像和视频。对于基于图像的渲染，其中基于其他图像创建图像，排除可采样的图像的数量之外，在确定信息的某些上下文片段时会存在问题。为了从人类视觉角度上提高二维(2D)或三维(3D)图像或视频的质量或准确度，需要通过理解上下文诸如图像中对象或场景几何的深度来渲染个体图像。然而，除非提供其他信息，否则这几乎是不可能完成的。[0002]在使用几何模型的非基于图像的计算机生成渲染(例如光栅化，光线追踪等)中，其中不是仅从图像来单纯地进行图像渲染或重建，用户能够从渲染相机的视角知道场景深度。例如，如果用户创建或渲染单个对象，则当该对象被放置在场景中时该对象的深度是已知的并且因此是预先确定的，最终计算出场景深度。[0003]在基于图像的渲染过程中，场景中预先存在的对象可能具有未知深度。用户可以任意决定预先存在的对象上的点的初始深度或代理几何，并参考相对于任意选择的深度的所有其他相对深度。然而，这可能是不准确的，因为深度是由用户任意选择的。另外，可以使用计算机视觉技术诸如运动结构来确定深度，但是这些技术是过程极其繁复的，需要大量资源，是不准确的，并且除非它们是预计算的否则不适用于实时。[0004]许多这些深度技术都是以任意方式或以编程方式来最大可能地(具有任何容许损失)确定场景中点的深度的方法。然而，就像图像相机失焦时，当没有从各种输入(在这种情况下从其他图像)正确重建图像时，该重建的图像可能会出现失焦或不清晰。或者，渲染图像可能具有伪像或其他图像错误。附图说明[0005]图1a示出了多相机阵列的示例。[0006]图1b示出了图1a的多相机阵列的1D横截面图。[0007]图2示出了具有新型相机的图像相机阵列。[0008]图3示出了确定光线的示例。[0009]