基于视觉SLAM的动态场景多语义地图构建方法及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115937451A(43)申请公布日2023.04.07(21)申请号202211621731.9G06V10/82(2022.01)(22)申请日2022.12.16G06V10/46(2022.01)G06N3/0464(2023.01)(71)申请人武汉大学地址430072湖北省武汉市武昌区珞珈山武汉大学(72)发明人梅天灿高智秦宇晟(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222专利代理师张辰(51)Int.Cl.G06T17/05(2011.01)G06T7/269(2017.01)G06T7/136(2017.01)G06T7/246(2017.01)G06V10/26(2022.01)权利要求书2页说明书10页附图5页(54)发明名称基于视觉SLAM的动态场景多语义地图构建方法及设备(57)摘要本发明提供了一种基于视觉SLAM的动态场景多语义地图构建方法及设备。所述方法包括：步骤1至步骤9。本发明针对动态场景生成两种语义地图，方法高效且简便，地图剔除动态目标带来的影响，完成高质量的背景重建，能在动态场景下取得比现有方法更好的性能，满足挑战场景下的定位与制图应用需求。CN115937451ACN115937451A权利要求书1/2页1.一种基于视觉SLAM的动态场景多语义地图构建方法，其特征在于，包括：步骤1：获取相机当前帧RGB图像进行目标检测，将所有检测到的目标分类成静态和潜在动态，在潜在动态目标检测框内计算光流几何约束，根据约束结果确定真正移动的动态目标；步骤2：在当前帧深度图像中选择与真正移动的动态目标相交的静态检测框，与真正移动的动态目标检测框一并进行深度二值化的分割；步骤3：计算相交的静态检测框与真正移动的动态目标框内分割结果的平均深度差值，根据差值判定静态目标是否为被迫移动物体，划定为动态目标；步骤4：为当前帧图像特征提取ORB特征点，剔除所有在真正移动的动态目标检测框内的特征点；步骤5：根据剩余保留的特征点求解当前帧相机位姿并进行跟踪；步骤6：根据跟踪过程中的投影内点数以及跟踪时长选取关键帧，为关键帧内保留的静态目标附上语义信息，对关键帧共视图进行管理和维护；步骤7：根据每个关键帧对应的位姿将其二维图像投影到三维空间，获得稠密的三维语义点云地图，并用体素滤波进行优化；步骤8：采用基于超体素的方法，对点云地图进行分割，获得三维语义分割地图；步骤9：输出结果、相机位姿、三维语义点云地图和三维语义分割地图。2.根据权利要求1所述的基于视觉SLAM的动态场景多语义地图构建方法，其特征在于，在步骤1、2、3和4中，目标检测网络使用YOLOv4模型，提前在COCO数据集下进行预训练，并将数据集下不同类别目标分为预定义的静态和潜在动态两类进行存储；SLAM系统管理并维护一个数据矩阵，用来存储每帧提取的ORB特征点的描述子；在潜在动态目标检测框内使用光流金字塔，计算其中符合几何约束的光流特征点的数量，根据该数值是否大于阈值判断该动态目标是否处于真正移动状态；在深度图像中真正移动的动态目标及与其相交的静态目标检测框内进行二值化分割，计算分割后的平均深度差值，若静态目标与真正移动的动态目标的差值小于预定阈值，则判定该静态目标为移动的动态目标；若确实存在动态目标，SLAM系统重塑一个数据矩阵用来保留静态特征点的描述子。3.根据权利要求2所述的基于视觉SLAM的动态场景多语义地图构建方法，其特征在于，在步骤5和6中，根据相机内参、前一帧相机位姿及当前帧相机初始位姿投影计算出当前帧的相机位姿；当前帧相机初始位姿由匀速直线运动模型给出，位姿在SLAM系统中用李群李代数表示，根据投影时的内点数以及距离上一个关键帧的时长判断该帧是否为关键帧；每个静态类都有对应的语义颜色，将关键帧上所有的静态目标检测框都涂上相对应的颜色，并根据深度信息决定上色的先后关系，该关系决定重建地图中互相遮挡的物体的颜色是否正确，基于关键帧共视图引入更多与当前帧有共视关系的已处理帧对当前帧相机位姿进行优化。4.根据权利要求3所述的基于视觉SLAM的动态场景多语义地图构建方法，其特征在于，在步骤7、8和9中，采用计算出的位姿，分解旋转平移矩阵，将上色后的当前帧二维图像根据深度信息投影到相机坐标系，之后再转化到世界坐标系；对多张关键帧构成的点云数据创建三维体素栅格，计算体素内所有三维点的重心，采用该重心点近似体素中其他点，达到滤波的效果；采用无监督的方法将点云划分成多个超体素并构建邻接图，采用超体素寻找空间内的多个底层平面；相邻两个超体素若不在同一个平面上，则根据体素法向量间的角度计算边上的权重，根据权重值划分邻接图进行分割，最终输出的位姿以四元数形式存储在文档内，三维语义