基于EG-SLAM的无人机实时三维场景重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108648270A(43)申请公布日2018.10.12(21)申请号201810452378.3(22)申请日2018.05.12(71)申请人西北工业大学地址710072陕西省西安市友谊西路127号(72)发明人布树辉张咪赵勇(74)专利代理机构西北工业大学专利中心61204代理人陈星(51)Int.Cl.G06T17/00(2006.01)G06T7/33(2017.01)G06T15/04(2011.01)权利要求书5页说明书13页附图3页(54)发明名称基于EG-SLAM的无人机实时三维场景重建方法(57)摘要本发明提出一种基于EG-SLAM的无人机实时三维场景重建方法，该方法利用无人机机载相机实时获取到的视觉信息，重建出具有纹理细节的大规模三维场景。与诸多现有的方法相比，本发明采集图像后直接在CPU上运行，快速实时的实现定位并重建出三维地图；而且没有采取传统的PNP方法求解无人机的位姿，而是利用发明的EG-SLAM方法来解算无人机位姿，即利用两帧之间的特征点匹配关系直接求解位姿，降低对采集图像重复率的要求；另外获取的大量环境信息使得无人机对环境结构有了更精密并细致的感知，对实时生成的大尺度三维点云地图进行纹理渲染，实现了大尺度三维地图的重建，得到了更加直观真实的三维场景。CN108648270ACN108648270A权利要求书1/5页1.一种基于EG-SLAM的无人机实时三维场景重建方法，其特征在于：包括以下步骤：步骤1：采集并处理图像：无人机机载相机采集到一系列图像，实时将图像传递给计算单元，并利用相机标定数据对采集到的每一帧图像进行去畸变处理，得到去畸变的图像；步骤2：对步骤1得到的前两帧图像进行以下处理得到初始化地图：步骤2.1：将第一帧图像设置为第一个关键帧；提取并存储前两帧图像的SIFT特征点，任意设定前两帧中提取的特征点的初始逆深度；步骤2.2：利用特征点匹配关系求解前两帧之间的本质矩阵E，通过SVD分解出第二帧图像到第一帧图像所对应的相机位姿变化的旋转矩阵R和平移矩阵t；步骤2.3：根据步骤2.2得到的第二帧图像到第一帧图像所对应的相机位姿变化的旋转矩阵R和平移矩阵t，通过逆深度滤波方法计算前两帧中特征点的逆深度，以及得到特征点在三维空间中的对应空间坐标，完成三维点云地图的初始化；步骤3：对实时获得的第i帧图像进行以下处理，完成追踪和构图过程，i＝3,4,5......：步骤3.1：得到第i帧去畸变的图像后，以当前关键帧为基准，求解第i帧与当前关键帧之间的相机位姿变化：提取第i帧图像的SIFT特征点，并对每个特征点的逆深度初始化，利用特征点匹配关系求解第i帧图像与当前关键帧之间的本质矩阵E，通过SVD分解出第i帧到当前关键帧之间位姿变化SE(3)矩阵的初始值；对于当前关键帧和第i帧的特征匹配点对p1、p2，已知当前关键帧中的特征点p1的图像位置坐标和初始逆深度d，可得到p1在三维空间中的位置P，利用位姿变化SE(3)矩阵将三维点P重投影到第i帧图像上，得到投影点计算投影点与第i帧上p1对应的特征匹配点p2的重投影误差e，以位姿变化SE(3)矩阵和逆深度d为优化变量，优化求解出当前关键帧与第i帧的位姿变化SE(3)矩阵，以及当前关键帧中特征点的逆深度d′，使重投影误差最小；计算当前关键帧中所有特征点逆深度优化值d′与优化前逆深度d的比值d′/d，并对当前关键帧中所有特征点的比值加权平均后，作为第i帧与当前关键帧对应相机之间位姿变化的尺度参数s；根据优化后的位姿变化SE(3)矩阵和尺度参数s，得到第i帧与当前关键帧之间的相机位姿变化SIM(3)矩阵；步骤3.2：根据步骤3.1得到第i帧与当前关键帧之间第一次优化后的相机位姿变化SIM(3)矩阵和特征点匹配关系，再用逆深度滤波方法更新当前关键帧特征点的逆深度；步骤3.3：采用基于图优化的方法再次优化第i帧与当前关键帧之间的相机位姿变化SIM(3)矩阵和当前关键帧特征点的逆深度，并将最终优化的具有逆深度的特征点更新到地图中；步骤3.4：若步骤3.3得到的第i帧与当前关键帧之间的相机位姿变化大于设定的位姿变化阈值，且第i帧与当前关键帧的特征匹配点对数小于第i帧特征点数量的1/2时，则第i帧确定为新的关键帧，更新成为当前关键帧；步骤4：将采集到的图像和步骤3更新后的点云地图传回地面端进行后续处理：步骤4.1：利用k-d树算法聚类点云地图中的空间点，取每个聚类中空间点坐标的均值作为聚类的中心空间坐标，所有聚类的中心空间坐标组成一个新的点集；2CN108648270A权利要求书2/5页步骤4.2：将步骤4.1得到的新点集中的空间点投影到采集到的每张图像上，若图像上的投影点数量大于设定阈值