基于深度相机的三维场景实时重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108765548A(43)申请公布日2018.11.06(21)申请号201810380432.8(22)申请日2018.04.25(71)申请人安徽大学地址230601安徽省合肥市经济技术开发区九龙路111号(72)发明人张少杰赵海峰马银中(74)专利代理机构合肥市上嘉专利代理事务所(普通合伙)34125代理人李璐(51)Int.Cl.G06T17/00(2006.01)G06T7/30(2017.01)G06T7/50(2017.01)权利要求书3页说明书8页附图2页(54)发明名称基于深度相机的三维场景实时重建方法(57)摘要本发明公开了一种基于深度相机的三维场景实时重建方法，包括以下步骤：原始深度数据和颜色数据的获取，深度数据去噪处理，深度图像坐标转换，相机姿态追踪，点云融合和记录颜色信息，点云模型隐含表面渲染，场景模型重建。本发明利用单个深度相机扫描场景，获得场景的深度数据流，在计算机上完成对数据的实时处理，并生成相应的三维模型，该方法可以提供低成本、易操作、高质量、具有实时性的三维重建系统，产生高质量、可视化强的三维模型。CN108765548ACN108765548A权利要求书1/3页1.一种基于深度相机的三维场景实时重建方法，包括以下步骤：S1、根据实验的需求，编译与深度相机相兼容的函数库，设置实验系统环境变量；S2、移动深度相机，从不同的视角对同一场景进行测量，获取多帧连续的深度数据，并对深度数据进行去噪处理；S3、将不同坐标系中的经过去噪处理的深度图像转换到统一的世界坐标中，获得三维点云模型；S4、通过计算六个方向自由度的刚体变换矩阵，将当前点云数据与已有的参考点云模型对齐，输出连续两帧之间的相对变换参数，并初始化为下一帧对齐时相机姿态；S5、经过配准之后，对重叠区域的重复点云数据进行融合处理，简化点云，并融合颜色信息；S6、实时进行场景渲染，指导用户规划深度相机的运动轨迹；S7、利用MC算法对点云模型进行三角网格化处理，生成可视化的三维模型。2.根据权利要求1所述的基于深度相机的三维场景实时重建方法，其特征在于，所述步骤S1具体实现步骤包括：S11、首先安装深度相机设备驱动程序，在此基础上搭建基于深度相机与OpenNI的数据采集模块；S12、利用Cmake对VTK、OpenCV开源代码进行编译，获得第三方独立函数库，并配置相应的系统环境变量；S13、安装Eigen库和CUDA，并配置相应的系统环境变量。3.根据权利要求1所述的基于深度相机的三维场景实时重建方法，其特征在于，所述步骤S2具体实现步骤包括：S21、通过USB接口将深度相机连接到计算机上；S22、手持深度相机，保持距物体预定距离，匀速缓慢移动深度相机来扫描场景，获取数据流；S23、利用双边滤波算法对数据进行平滑去噪处理。4.根据权利要求3所述的基于深度相机的三维场景实时重建方法，其特征在于，所述预定距离为0.4—3.5m。5.根据权利要求1所述的基于深度相机的三维场景实时重建方法，其特征在于，所述步骤S3具体实现步骤包括：S31、将经过去噪处理的二维图像中的每个像素点u透视投影到相机空间中，得到对应的顶点v(u)；S32、将每一帧的深度图像复制到GPU中，利用GPU计算得到相应的全局空间顶点映射vg,i(x,y)。S33、得到新的深度图的世界坐标系后，系统在GPU上并行地计算每个顶点的法向量。6.根据权利要求5所述的基于深度相机的三维场景实时重建方法，其特征在于，所述步骤S33中法向量具体计算过程包括：S331、根据Kinect点云数据的结构特征，选取点Vi(x,y)的4个近邻点，分别为：Vi(x+1,y)，Vi(x-1,y)，Vi(x,y+1)，Vi(x,y-1)；S332、计算Vi(x,y)的邻域的质心2CN108765548A权利要求书2/3页S333、通过分析点Vi及其近邻点，得出三阶协方差矩阵C：S334、对协方差矩阵C进行特征分解：S335、特征值λ1对应的特征向量v1即为点Vi处切平面的法向量。7.根据权利要求1所述的基于深度相机的三维场景实时重建方法，其特征在于，所述步骤S4具体实现步骤包括：S41、经过步骤S3坐标变换，将连续帧的点云统一到世界坐标系中，搜寻连续两帧点云之间的重叠区域，选取深度差和法向量夹角满足阈值条件的点对，确定为匹配点对；S42、根据对应点对，利用基于点面距离的ICP算法最小化目标函数，求解最优变换参数Topt；S43、通过Topt和参考点云的当前帧相机姿态估计Ti，即可求出当前相机对应的位置和朝向信息。8.根据权利要求7所述的基于深度相机的三维场景实时重建方法，其特征在于，所述深度差和法向量阈值分别为0.25和20°。9.根据