一种融合几何信息的视觉SLAM回环检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108537844A(43)申请公布日2018.09.14(21)申请号201810220026.5(22)申请日2018.03.16(71)申请人上海交通大学地址200240上海市闵行区东川路800号(72)发明人韩煦深应忍冬刘佩林(74)专利代理机构上海汉声知识产权代理有限公司31236代理人胡晶(51)Int.Cl.G06T7/73(2017.01)G06T19/00(2011.01)G06F17/30(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种融合几何信息的视觉SLAM回环检测方法(57)摘要本发明公开了一种融合几何信息的视觉SLAM回环检测方法，包括S1：获取真实关键帧；S2：确定虚拟相机的视角变化，并计算虚拟相机在SLAM系统中的位姿；S3：根据真实关键帧重构出SLAM系统中的三维点云；S4：根据针孔相机模型和投影几何，计算出三维点云每个三维点在虚拟关键帧中的像素坐标；S5：渲染出虚拟相机的虚拟关键帧；S6：提取真实关键帧和虚拟关键帧的特征描述子；S7：计算真实关键帧和虚拟关键帧的BoV并加入数据库中，在进行回环检测时，搜索数据库中所有真实关键帧和虚拟关键帧，以获取回环检测信息。本发明的融合几何信息的视觉SLAM回环检测方法，不仅能够直接利用单目摄像头信息生成不同视角的回环检测信息，而且相比传统回环检测方法效率更高。CN108537844ACN108537844A权利要求书1/2页1.一种融合几何信息的视觉SLAM回环检测方法，其特征在于，包括如下步骤：S1：获取每一个真实相机在SLAM系统中对应的真实关键帧；S2：在所述每一个真实相机周边确定对应的虚拟相机的视角变化，并计算所述虚拟相机在SLAM系统中的位姿；S3：根据所述真实关键帧重构出SLAM系统中的三维点云；S4：根据针孔相机模型和投影几何，计算出所述三维点云中的每个三维点在所述虚拟关键帧中的像素坐标；S5：渲染出所述虚拟相机对应的虚拟关键帧；S6：提取所述真实关键帧和所述虚拟关键帧的特征描述子；S7：计算所述真实关键帧和所述虚拟关键帧的BoV并加入数据库中，在进行回环检测时，搜索所述数据库中所有所述真实关键帧和所述虚拟关键帧，以获取回环检测信息。2.如权利要求1所述融合几何信息的视觉SLAM回环检测方法，其特征在于，所述步骤S2包括：S21：设定所述虚拟相机相对于所述真实相机的视角变化量θ，即确定所述真实相机绕其y轴的旋转角度θ，所述y轴的方向和所述真实相机的运动轨迹所在平面垂直；S22：计算所述虚拟相机和所述真实相机之间的旋转矩阵和平移向量得到所述虚拟相机相对于生成其的所述真实相机的位姿Rr2v|tr2v；其中，所述虚拟相机和所述真实相机之间的旋转矩阵和平移向量用如下公式表示：Rodrigues代表罗德里格斯旋转公式，用于将欧拉角转化为旋转矩阵；S23：根据所述真实相机在SLAM系统中的位姿Rk|tk，利用坐标系转换公式计算出所述虚拟相机在SLAM系统中的位姿Rkv|tkv；其中，3.如权利要求2所述融合几何信息的视觉SLAM回环检测方法，其特征在于，所述步骤S3中所述三维点云中的每个三维点由数张不同的所述真实关键帧重建获得，其坐标均为世界坐标系的三维坐标；所述三维点云的表达为：V＝{X1,X2,X3,…,Xp,…Xq,…,Xm}每个Xi代表一个三维点；所述步骤S4中所述三维点云中的每个三维点在所述虚拟关键帧中的像素坐标为：其中K是相机内参，sj是虚拟相机kv坐标系下Xj的深度，所述虚拟相机kv对应的真实相机记为真实相机k。2CN108537844A权利要求书2/2页4.如权利要求3所述融合几何信息的视觉SLAM回环检测方法，其特征在于，所述步骤S5包括：S51：假设对于每个vkv中的每个像素坐标xj，以xj为中心，边长为l的正方形内，所有像素的深度与xj的深度一致；S52：将所述边长为l的正方形内的像素点(α,β)反投影到三维空间中，生成所述边长为l的正方形内的像素点(α,β)对应的反投影三维点；S53：将所述反投影三维点投影到真实相机k之前的p个真实相机当中；若其中一个真实相机得到了合理的投影结果，则认为在该真实相机对应的真实关键帧中的像素点与像素点(α,β)的有一组对应关系，将该真实关键帧中的像素点的值复制到像素点(α,β)处；若所述p个真实相机当中不存在合理的投影结果，则像素点(α,β)的值为0。5.如权利要求1-4任意一项所述融合几何信息的视觉SLAM回环检测方法，其特征在于，在所述步骤S6中采用SURF64提取所述真实关键帧和所述虚拟关键帧中的特征描述子。3CN108537844A说明书1/6页一种融合几何信息的视觉SLAM回环检测方法技术