基于点线特征融合的单目视觉贯导SLAM方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113720323A(43)申请公布日2021.11.30(21)申请号202110873290.0(22)申请日2021.07.30(71)申请人安徽大学地址230039安徽省合肥市蜀山区肥西路3号(72)发明人樊渊潘高峰宋程潘天红李腾董翔程松松方笑晗(74)专利代理机构合肥市浩智运专利代理事务所(普通合伙)34124代理人丁瑞瑞(51)Int.Cl.G01C21/00(2006.01)权利要求书3页说明书10页附图2页(54)发明名称基于点线特征融合的单目视觉贯导SLAM方法及装置(57)摘要本发明公开了基于点线特征融合的单目视觉贯导SLAM方法及装置，所述方法包括以下步骤：将单目相机获取的图像和IMU获取的环境信息作为输入信息；相机移动过程中获得很多帧图像，将所有帧图像中点线特征匹配成功的图像帧作为关键帧；对所有关键帧中提取特征点低于第一预设值的关键帧剔除，剩余的关键帧形成的相机运动轨迹构成多个局部地图，所有局部地图中点线特征个数低于第二预设值的剔除，对剩下的局部地图进行BA优化；重复相机轨迹进行循环检测和循环修正，得到新的局部地图，对全局地图进行全局BA优化，再经过循环检测和循环修正更新全局地图，构建出环境中的完整地图；本发明的优点在于：具有更高的精度和更小的轨迹误差。CN113720323ACN113720323A权利要求书1/3页1.基于点线特征融合的单目视觉贯导SLAM方法，其特征在于，所述方法包括以下步骤：S1：将单目相机获取的图像和IMU获取的环境信息作为输入信息；S2：基于输入信息进行点线特征提取、点线特征加权及点线特征匹配，点线特征提取的同时进行三角化测量实时获取相机的位姿，IMU安装在单目相机的重心处，IMU也实时获取相机的位姿，对两种方式得到的相机的位姿融合得到相机移动过程，相机移动过程中获得很多帧图像，将所有帧图像中点线特征匹配成功的图像帧作为关键帧；S3：对所有关键帧中提取特征点低于第一预设值的关键帧剔除，剩余的关键帧形成的相机运动轨迹构成多个局部地图，所有局部地图中点线特征个数低于第二预设值的剔除，对剩下的局部地图进行BA优化；S4：系统初始化，重复相机轨迹进行循环检测和循环修正，得到新的局部地图，循环检测和循环修正结束后，将同一个局部地图的经多次检测和修正后的结果进行平均值操作，得到最终局部地图；S5：所有的最终局部地图形成全局地图，对全局地图进行全局BA优化，再经过循环检测和循环修正更新全局地图，构建出环境中的完整地图。2.根据权利要求1所述的基于点线特征融合的单目视觉贯导SLAM方法，其特征在于，所述步骤S1之前还包括IMU初始化，IMU初始化的过程为：将IMU采集的参数放在一起构成状态向量yk＝{s，Rwg，b，v0：k}，其中，s表示尺度因子，RwgT表示重力向量，重力向量在世界坐标系下的表示为g＝RwggI，其中gI＝(0，0，G)，G是重力大小模值；表示加速度计以及陀螺仪的偏置，在初始化阶段该偏置为常数；v0：k表示从首帧图像到末帧图像的无尺度机体速度；IMU初始化中被最大化的后验分布为p(yk|I0：k)∝p(I0：k|yk)p(yk)，其中，I0：k表示首帧图像到末帧图像的测量信息，i0：k表示已经测量到的首帧图像到末帧图像的测量信息且p(yk|I0：k)表示最大化的后验分布，∝表示相当于，p(I0：k|yk)表示似然，p(yk)表示先验分布；IMU的最大后验估计表示为其中，Ii‑1表示第i‑1帧的测量信息，gdir表示重力向量，vi‑1表示第i‑1帧图像的无尺度机体速度，vi表示第i帧图像的无尺度机体速度；对IMU的最大后验估计取负对数并且假设IMU预积分以及先验分布服从高斯分布，于是IMU最终的最大后验估计表示为其中，rp表示先验残差项，Ii‑1，i表示相邻两帧的测量信息。3.根据权利要求1所述的基于点线特征融合的单目视觉贯导SLAM方法，其特征在于，所述步骤S2包括：通过FAST角点提取算法进行点特征提取，通过线段检测器LSD算法进行线特2CN113720323A权利要求书2/3页征提取，在低纹理场景中，对点线特征加权且线特征的权重高于点特征的权重。4.根据权利要求1所述的基于点线特征融合的单目视觉贯导SLAM方法，其特征在于，所述步骤S2中所述点线特征匹配的过程为：单目相机获得的图像的相邻帧中的点特征分别记为Ki和Qj，i、j＝1，2，3…，把K1与Qj中距离最近的点特征特征匹配，把K2与Qj中距离最近的点特征特征匹配，依此类推完成点特征匹配；单目相机获得的图像的相邻帧中的线特征分别记为lc和l′c，通过公式获取重投影误差，当图像当前帧的当前线特征与其相邻帧中的某个线特征的重投影误差最小时，线