基于YOLACT实例分割模型的动态场景SLAM方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110378345A(43)申请公布日2019.10.25(21)申请号201910481706.7(22)申请日2019.06.04(71)申请人广东工业大学地址510062广东省广州市大学城外环西路100号(72)发明人李丹蔡述庭龙土志李翔宇(74)专利代理机构广东广信君达律师事务所44329代理人杨晓松(51)Int.Cl.G06K9/34(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06T7/73(2017.01)权利要求书2页说明书6页附图2页(54)发明名称基于YOLACT实例分割模型的动态场景SLAM方法(57)摘要本发明公开了一种基于YOLACT实例分割模型的动态场景SLAM方法，首先采用YOLACT实例分割模型对当前帧图像进行实例分割处理，从而区分得到图像中的动态像素和静态像素；对于当前帧图像中的静态像素部分，提取出该部分的特征点；在提取的特征点的基础上选取关键帧；针对选出的关键帧再次剔除动态像素，留下静态像素构造地图，并进行地图初始化；对于剩余下来的静态像素区域，提取该区域的ORB特征点，更新关键帧；在关键帧之间进行特征点的匹配，利用OBR特征点更新局部地图；用局部集束调整优化关键帧的位姿；利用回环检测来优化位姿，更正漂移误差。本方法在动态场景下能快速识别出动态物体，并实时建图导航，具有广泛的应用场景。CN110378345ACN110378345A权利要求书1/2页1.基于YOLACT实例分割模型的动态场景SLAM方法，其特征在于，包括以下步骤：步骤1，获取机器人运动过程中通过相机拍摄的RGB-D图像作为当前帧图像；步骤2，采用YOLACT实例分割模型对当前帧图像进行实例分割处理，从而区分得到图像中的动态像素和静态像素；步骤3，对于当前帧图像中的静态像素部分，提取出该部分的特征点；步骤4，在提取的特征点的基础上选取关键帧；步骤5，针对步骤4选出的关键帧再次剔除动态像素，留下静态像素构造地图，并进行地图初始化，包括：步骤5.1，对于步骤4筛选出的关键帧，采用YOLACT实例分割方法区分得到图像中的动态像素和静态像素；步骤5.2，对于步骤5.1区分得到的静态像素，进行以下处理以再次检测动态像素并剔除：(1)使用关键帧的深度图像中的深度z和的机器人位姿将像素u反投影到世界坐标下的3D点pw；(2)将3D点pw投影到关键帧附近的第j个关键帧的彩色图像上；(3)如果第j个关键帧的像素u′在对应的深度图像上存在有效的深度值z′，则像素u′反投影到世界坐标下的3D点pw′；w′w(4)通过将p和p之间的距离d与设定的阈值dmth比较来判断像素u是否为动态的：通过搜索u′周围的正方形区域内的像素，使得d取最小值dmin；如果dmin大于阈值dmth，则初步判断像素u判断为静态的，否则初步判断它是动态的；将上述初步判断过程依次应用于新关键帧的所有附近关键帧最后，像素u的最终情况由投票来决定：假设像素u在所有附近关键帧的初步判断结果中，静态结果的数量是NS，动态结果的数量是Nd，像素u的最终属性如下：如果(NS≥Nd,NS＞0)，则像素u为静态像素，进行保留；如果(Nd≥Ns,Nd＞0)，则像素u为动态像素，进行剔除；步骤6，对于步骤5剩余下来的静态像素区域，提取该区域的ORB特征点，更新关键帧；步骤7，在关键帧之间进行特征点的匹配，利用OBR特征点更新局部地图；步骤8，用局部集束调整优化步骤7中的关键帧的位姿；步骤9，利用回环检测来优化位姿，更正漂移误差。2.如权利要求1所述的基于YOLACT实例分割模型的动态场景SLAM方法，其特征在于，所述的对于当前帧图像中的静态像素部分，提取出该部分的特征点，包括：对静态像素部分进行金字塔分层，每一层都要进行FAST特征点提取，然后用排除不稳定特征点，留下较好的特征点，判断方法为：判断以特征点p为中心的一个邻域内，若有多个特征点，则判断每个特征点的强度值；所述的强度值计算公式如下：上式中，V表示特征点处的强度值，t表示阈值，I(x)表示邻域内点x的像素值，I(p)为中2CN110378345A权利要求书2/2页心点p像素值；若特征点p是邻域所有特征点中强度值最大的，则保留；否则进行排除；若邻域内只有一个特征点，则保留，最后这些保留下来的特征点就是提取出的静态部分特征点。3.如权利要求1所述的基于YOLACT实例分割模型的动态场景SLAM方法，其特征在于，所述的在提取的特征点的基础上选取关键帧，包括：根据当前帧图像的深度信息将特征点转换为世界坐标系下的三维地图点；将所述地图点放入局部地图中，将当前图像帧设为关键帧，并选取k个关键帧；其中第i个关键帧的选取原则为：①距第