增强现实的3D重建.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114556431A(43)申请公布日2022.05.27(21)申请号202080072470.2(74)专利代理机构深圳市智圈知识产权代理事(22)申请日2020.09.15务所(普通合伙)44351专利代理师李璇(30)优先权数据62/927,3472019.10.29US(51)Int.Cl.G06T15/00(2011.01)(85)PCT国际申请进入国家阶段日2022.04.22(86)PCT国际申请的申请数据PCT/CN2020/1153062020.09.15(87)PCT国际申请的公布数据WO2021/082771EN2021.05.06(71)申请人OPPO广东移动通信有限公司地址523860广东省东莞市长安镇乌沙海滨路18号(72)发明人徐毅全书学权利要求书3页说明书10页附图6页(54)发明名称增强现实的3D重建(57)摘要描述了在增强现实系统中渲染3D虚拟对象的技术。在一示例中，获取环境的多个图像；对获取多个图像的摄像装置的相对运动进行追踪；使用上述多个图像和所追踪的摄像装置的相对运动，确定相对于该环境的摄像装置位姿；使用深度图和法线贴图，估计环境中的对象的深度和法线表面；使用深度图和法线贴图，重建环境的表面几何结构；以及使用环境的表面几何结构，渲染虚拟对象。CN114556431ACN114556431A权利要求书1/3页1.一种用于渲染三维虚拟对象的增强现实系统，所述系统包括：摄像装置；惯性测量单元(IMU)；以及存储设备，所述存储设备中具有程序，所述程序在被执行时使一个或更多个处理器实现以下步骤：基于所述摄像装置所捕获的多个图像，估计环境中的表面相对于所述摄像装置的深度或法线，以获得所述环境的深度图或法线贴图；将所述深度图或所述法线贴图与三维点集对准，其中，所述三维点集是基于所述多个图像和来自所述IMU的数据计算的；基于将所述深度图或所述法线贴图与所述三维点集对准，确定所述深度图的尺度或所述法线贴图的尺度；使用所述深度图或所述法线贴图以及使用所述深度图的尺度或所述法线贴图的尺度，重建所述环境的表面几何结构；以及使用根据所述深度图或所述法线贴图重建的所述表面几何结构，在所述环境中渲染虚拟对象。2.根据权利要求1所述的系统，其中，所述存储设备包括程序，所述程序在被执行时使所述一个或更多个处理器实现以下步骤：基于所述多个图像，估计所述环境中的表面相对于所述摄像装置的深度和法线两者，以获得所述环境的所述深度图和所述法线贴图两者；将所述深度图和所述法线贴图两者与所述三维点集对准；以及使用所述深度图和所述法线贴图，重建所述环境的所述表面几何结构。3.根据权利要求1所述的系统，其中，所述深度图是所述摄像装置的每个像素的深度值，所述法线贴图是所述摄像装置的每个像素的法线值。4.根据权利要求1所述的系统，其中，在所述环境中渲染虚拟对象包括，对与所述环境的所述表面几何结构相互作用的光线进行光线追踪。5.根据权利要求1所述的系统，其中，在所述环境中渲染虚拟对象包括，基于与所述虚拟对象相互作用的光线追踪，改变所述环境中的真实对象上的阴影。6.根据权利要求1所述的系统，其中，所述存储设备包括程序，当所述程序被执行时，使所述一个或更多个处理器实现以下步骤：根据所述三维点集和所述法线贴图来重建所述深度图。7.根据权利要求1所述的系统，其中，所述存储设备包括程序，当所述程序被执行时，使所述一个或更多个处理器实现以下步骤：根据所述三维点集和所述深度图来重建所述法线贴图。8.根据权利要求1所述的系统，其中，所述存储设备包括程序，当所述程序被执行时使所述一个或更多个处理器实现以下步骤：检测所述虚拟对象和所述环境的所重建表面几何结构的碰撞；计算对所述碰撞的响应；以及渲染在所述碰撞后的所述虚拟对象。9.一种用于渲染三维虚拟对象的增强现实方法，所述方法包括：2CN114556431A权利要求书2/3页基于摄像装置所捕获的多个图像，估计环境中的表面相对于所述摄像装置的深度或法线，以获得所述环境的深度图或法线贴图；将所述深度图或所述法线贴图与三维点集对准，其中，所述三维点集是基于所述多个图像和来自所述IMU的数据计算的；基于将所述深度图或所述法线贴图与所述三维点集对准，确定所述深度图的尺度或所述法线贴图的尺度；使用所述深度图或所述法线贴图以及使用所述深度图的尺度或所述法线贴图的尺度，重建所述环境的表面几何结构；以及使用根据所述深度图或所述法线贴图重建的所述表面几何结构，在所述环境中渲染虚拟对象。10.根据权利要求9所述的方法，还包括：基于所述多个图像，估计所述环境中的表面相对于所述摄像装置的深度和法线两者，以获得所述环境的所述深度图和所述法线贴图两者；将所述深度图和所述法线贴图两