一种基于实例分割的语义SLAM方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114187447A(43)申请公布日2022.03.15(21)申请号202111497853.7G06N3/04(2006.01)(22)申请日2021.12.09(71)申请人西安电子科技大学地址710071陕西省西安市太白南路2号(72)发明人牛毅吴腾飞马明明李甫石光明(74)专利代理机构重庆萃智邦成专利代理事务所(普通合伙)50231代理人许攀(51)Int.Cl.G06V10/26(2022.01)G06V10/44(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)权利要求书1页说明书7页附图3页(54)发明名称一种基于实例分割的语义SLAM方法(57)摘要本申请涉及ORB‑SLAM2系统和深度学习实例分割领域，具体提供了一种基于实例分割的语义SLAM方法。该方法的步骤为：S1，获取图像序列；S2，提取特征点信息和语义信息；S3，融合特征点信息和语义信息；S4，动态物体检测与去除；S5，物体级的帧间匹配；S6，物体级的回环检测。该方法能够在场景中准确的识别各种目标，使用目标的类别，包围框，掩膜信息帮助去除动态物体，并使用留下的静态物体更好的帮助系统进行帧间匹配以及回环检测。使用物体级匹配来约束帧间匹配，有效的解决了一些场景下特征点匹配错误导致丢失的情况。本发明方法使用神经网络对场景进行实例分割，在单双目情况下均能有效的识别动态物体，提高了SLAM系统在动态场景下的鲁棒性。CN114187447ACN114187447A权利要求书1/1页1.一种基于实例分割的语义SLAM方法，其特征在于，所述方法包括以下步骤：S1，获取图像序列；S2，提取特征点信息和语义信息；S3，融合特征点信息和语义信息；S4，动态物体检测与去除；S5，物体级的帧间匹配；S6，物体级的回环检测。2.根据权利要求1所述的基于实例分割的语义SLAM方法，其特征在于，所述步骤S2中所述特征点信息和所述语义信息的提取是同时进行的。3.根据权利要求2所述的基于实例分割的语义SLAM方法，其特征在于，所述语义信息的提取通过网络实例分割模块完成。4.根据权利要求3所述的基于实例分割的语义SLAM方法，其特征在于，所述网络实例分割为物体级的分割。5.根据权利要求4所述的基于实例分割的语义SLAM方法，其特征在于，所述网络实例分割结合了MASK‑RCNN网络。6.根据权利要求5所述的基于实例分割的语义SLAM方法，其特征在于，所述步骤S2中对所述MASK‑RCNN网络进行训练。7.根据权利要求6所述的基于实例分割的语义SLAM方法，其特征在于，所述步骤S3对图像中每个物体内部的特征点进行细粒度特征点分类。8.根据权利要求7所述的基于实例分割的语义SLAM方法，其特征在于，所述细粒度特征点分类通过KD‑TREE数据结构完成。9.根据权利要求8所述的基于实例分割的语义SLAM方法，其特征在于，所述步骤S5使用物体级匹配约束帧间匹配。10.根据权利要求9所述的基于实例分割的语义SLAM方法，其特征在于，所述步骤S5采用KM算法寻找最优匹配。2CN114187447A说明书1/7页一种基于实例分割的语义SLAM方法技术领域[0001]本申请涉及ORB‑SLAM2系统和深度学习实例分割领域，具体而言，涉及一种基于实例分割的语义SLAM方法。背景技术[0002]随着当代社会科技水平的不断进步，人们对生活便捷度的需求也在不断提升。随着人工智能的兴起，小到家用的服务型机器人，大到RoboTaxi，如何帮助机器人更好更准确的建立周围环境变得日益重要，对于同时定位和建图任务，视觉SLAM是最好的选择之一。例如，ORB‑SLAM2，RGB‑DSLAM‑V2等，其具有传感器采集速度快、成本低、时延短、准确率高等优点已经被广泛应用。以ORB‑SLAM2为例，该系统在高动态场景下容易丢失，并且由于其底层视觉信息采用的是ORB特征描述子，只能对最基础的特征点进行比对，而对于物体级信息没有加以利用。[0003]随着深度学习技术的快速发展，使得很多视觉性的问题有了更好更快的解决方法，基于神经网络的可以轻易的识别一副图像中感兴趣的物体，具体是什么类别，精确的边界。这些结果可以将神经网络与视觉SLAM技术相结合，结合语义信息，更好的帮助SLAM系统感知世界。[0004]近年来，有许多研究者提出了多种不同的语义SLAM方法。RaulMur‑Artal提出的ORB‑SLAM2系统是基于特征点的单目，双目，RGB‑D一套完整的SLAM方案，其采用词袋(DBoW2)模型对特征点进行聚类，在帧间匹配和回环检测时进行特征点的匹配。由于ORB特征点是32维的01向量