基于概率网格滤波的语义视觉SLAM方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112465858A(43)申请公布日2021.03.09(21)申请号202011454498.0G06K9/62(2006.01)(22)申请日2020.12.10(71)申请人武汉工程大学地址430074湖北省武汉市洪山区雄楚大街693号(72)发明人李迅王重九张彦铎周覃崔恒尹建南(74)专利代理机构湖北武汉永嘉专利代理有限公司42102代理人许美红(51)Int.Cl.G06T7/215(2017.01)G06T7/246(2017.01)G06T7/73(2017.01)G06K9/46(2006.01)权利要求书2页说明书7页附图3页(54)发明名称基于概率网格滤波的语义视觉SLAM方法(57)摘要本发明公开了一种基于概率网格滤波的语义视觉SLAM方法，包括步骤：使用摄像机传感器依次采集场景的RGB图像，并对采集的图像进行ORB特征点提取、超点分割和语义分割；创建并初始化概率网格；计算特征点在上下帧间的匹配信息，并使用匹配信息将上帧中网格概率传播到相应下帧概率网格中，完成概率网格更新；对其匹配点进行运动一致性检查，更新概率网格的运动状态；根据更新后的概率网格，使用贝叶斯概率公式更新当前概率网格的属性，并创建动态区域的掩膜；根据提取的ORB特征点，使用动态区域的掩膜进行滤波，删除概率较高的动态特征点；将保留的特征点用于跟踪、局部建图和回环检测，最终实现概率网格增强语义视觉SLAM。CN112465858ACN112465858A权利要求书1/2页1.一种基于概率网格滤波的语义视觉SLAM方法，其特征在于，包括以下步骤：步骤1、使用摄像机传感器依次采集场景的RGB图像，并对采集的图像进行ORB特征点提取、超点分割和语义分割；步骤2、根据超点分割和语义分割结果，创建并初始化概率网格；步骤3、根据提取的ORB特征点，计算特征点在上下帧间的匹配信息，并使用匹配信息将上帧中网格概率传播到相应下帧概率网格中，完成概率网格更新；步骤4、根据上下帧间特征点匹配信息，对其匹配点进行运动一致性检查，更新概率网格的运动状态；步骤5、根据更新后的概率网格，使用贝叶斯概率公式更新当前概率网格的属性，并创建动态区域的掩膜；步骤6、根据提取的ORB特征点，使用动态区域的掩膜进行滤波，删除概率较高的动态特征点；步骤7、将步骤6中保留的特征点用于跟踪、局部建图和回环检测，最终实现概率网格增强语义视觉SLAM。2.根据权利要求1所述的基于概率网格滤波的语义视觉SLAM方法，其特征在于，步骤1中，摄像机采集640x480分辨率的图像，对RGB图像数据均匀提取ORB特征点，其中ORB特征点的提取是基于图像金字塔的,在不同尺度的图像上面提取“OrientedFAST”关键点和BRIEF描述子,该关键点为增加了方向的FAST关键点；同时将RGB图像使用超点分割技术将图片细分成网格，并使用Mask‑rcnn网络进行语义分割，其中使用超点分割技术分割图像时，将所有目标进行细分，将图像分割成28x28的网格；同时使用Mask‑rcnn网络进行语义分割，Mask‑rcnn在TensorFlow框架中实现，并在COCO数据集上进行训练。3.根据权利要求1所述的基于概率网格滤波的语义视觉SLAM方法，其特征在于，步骤2中，每个概率网格有6种属性：中心点坐标、网格id、运动状态、概率、语义信息、更新状态；通过语义分割的结果初始化概率网格中的概率、语义信息。4.根据权利要求1所述的一种基于概率网格滤波的语义视觉SLAM方法，其特征在于，步骤3具体如下：在每一个相邻帧间，将上一帧中由步骤1所提取的ORB特征点通过金字塔‑光流追踪算法匹配到当前帧，并根据匹配结果将上帧的格子概率传播到当前帧，传播方法如下：遍历上一步中跟踪到的所有匹配的特征点对，如果特征点对中的下一帧的特征点在下一帧某一超点网格内，并且该网格状态没有更新，则将上一帧中配对的特征点在上一帧某一超点网格的概率传播到网格状态没有更新的网格内，传播后网格概率标记为已更新。5.根据权利要求1所述的基于概率网格滤波的语义视觉SLAM方法，其特征在于：步骤4具体包括步骤：根据语义分割的结果将特征点标记为潜力运动点和无潜力运动点，并将标记为潜力运动点的特征点对全部去除，通过无潜力运动点计算基础矩阵F，再对极线约束对图像上的真实运动特征点和静态特征点进行二次判断，具体由上一帧的特征点的极线与下一帧对应的特征点的距离来判断，如果距离小于预设的阈值D，该特征点被判定为静态点，否则为动态点；如果该特征点在某一网格内被标记为动态，则将该概率网格中的运动状态属性标记为动态。2CN112465858A权利要求书2/2页6.根据权利要求1所述的基于概率网格滤波的语义视觉