一种基于多相机全景视觉的SLAM全向回环校正方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113506342A(43)申请公布日2021.10.15(21)申请号202110638485.7(22)申请日2021.06.08(71)申请人北京理工大学地址100081北京市海淀区中关村南大街5号(72)发明人杨毅唐笛梁浩王俊博潘淼鑫王涛(74)专利代理机构北京理工大学专利中心11120代理人李微微(51)Int.Cl.G06T7/73(2017.01)G06T7/80(2017.01)G06K9/62(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种基于多相机全景视觉的SLAM全向回环校正方法(57)摘要本发明提出一种基于多相机全景视觉的SLAM全向回环校正方法，该方法利用多相机全景视觉系统提供的全景图像信息，对运动载体周围的环境进行全方位的感知，解决现有SLAM方法所用回环校正算法无法在传感器朝向差异较为明显时检测出相同场景的问题；通过冗余的视野范围，可以保证环境信息感知时没有盲区；通过去除匹配特征点中的重复信息来减弱冗余视野范围对回环检测的影响，可以在传感器位置相同时准确地检测出运动轨迹中的回环；在回环校正过程中通过特征点、地图点的全局匹配，使回环校正算法在传感器朝向差异较大的情况下也能够计算两个关键帧之间多相机全景视觉系统的相似变换，进而令回环校正算法仅需传感器处于曾经经过的位置即可完成回环校正。CN113506342ACN113506342A权利要求书1/2页1.一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，包括如下步骤：步骤S1、根据相机的视场范围对相机进行排布组成多相机全景视觉系统，使多个相机能在水平方向上观测360°的环境信息，对各相机进行标定，包括相机成像模型的内参和表示多个相机之间位姿关系的外参；步骤S2、触发多相机全景视觉系统的中各相机同步采集图像，然后在多个相机的图像中提取特征点，并匹配相邻相机图像中的特征点；步骤S3、使用提取的特征点训练词袋模型，最终经过多轮训练生成以k‑d树为数据结构的字典；其中，特征点包括图像中未匹配的特征点和删除了一个特征点的匹配点对；步骤S4、在SLAM过程中为每一个关键帧图像提取特征点，匹配相邻相机图像中的特征点，并使用字典为每一个关键帧图像构建描述向量，通过描述向量计算每一个历史关键帧和当前关键帧之间的相似度，然后根据相似度检索可能与当前关键帧形成回环的关键帧，作为候选关键帧；步骤S5、对于每一个候选关键帧，匹配该关键帧与当前关键帧观测的地图点，为候选关键帧求解与当前关键帧之间的相似变换，根据相似变换计算每一对匹配地图点之间的位置误差并通过设定的误差阈值挑选有效的匹配地图点对，然后根据有效匹配地图点对数量判断该关键帧是否可能与当前关键帧形成回环；步骤S6、根据可能形成回环的候选关键帧与当前关键帧的相似变换，将当前关键帧尚未匹配的地图点投影至该候选关键帧的图像中，并在投影点邻域内检索匹配的二维特征点，设在当前关键帧中地图点表示为A，与该地图点匹配的特征点为a；同时将候选关键帧中尚未匹配的地图点投影至当前关键帧的图像中进行匹配，设候选关键帧中地图点表示为B，与该地图点匹配的特征点为b，如果地图点A与特征点b匹配，且地图点B与特征点a也匹配，则这两对点匹配成功；利用步骤S5和步骤S6中的地图点、特征点匹配结果对当前关键帧和候选关键帧之间的相似变换进行非线性优化，优化后检查各匹配点对重投影误差并对匹配结果进行筛选，如果剩余的有效匹配数量达到设定要求，则该候选关键帧与当前关键帧匹配成功，如果匹配不成功，则返回步骤S5；将第一个与当前关键帧匹配成功的候选键帧作为回环关键帧，执行步骤S7；步骤S7、利用回环关键帧与当前关键帧之间的相似变换关系进行位姿图优化，并以位姿图优化的结果作为初始值，对全局地图进行捆集优化，完成回环校正与地图更新。2.如权利要求1所述的一种基于多相机全景视觉的SLAM全向回环校正方法，其特征在于，所述步骤S4中，通过当前关键帧和与其有共视地图点的历史关键帧之间的最小相似度作为阈值，对全部历史关键帧进行筛选，得到历史关键帧集合；针对历史关键帧集合中任意一个历史关键帧h，找到与历史关键帧h具有最大共视关系的10个关键帧，连同关键帧h，形成具有11个关键帧的集合j，则每个历史关键帧对应一个集合；计算集合j中各历史关键帧与当前关键帧的相似度，并求和，定义为相似度和值s，利用s来评判这11个关键帧和当前关键帧是否有可能形成回环，筛选条件为：s>0.75(smax‑smin)+smin其中，s是关键帧集合与当前关键帧的相似度之和，smin表示上述关键帧集合与当前关键帧的相似度和值s中的最小值；smax表示上述关键帧集合与当前关键帧的相似度和值s中的最大值；