基于多尺度距离图与点云语义分割的园林地图构建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114926637A(43)申请公布日2022.08.19(21)申请号202210520695.0G06V10/82(2022.01)(22)申请日2022.05.12G06V20/70(2022.01)G06T5/30(2006.01)(71)申请人广西大学G06T17/05(2011.01)地址530004广西壮族自治区南宁市西乡塘区大学东路100号(72)发明人蒙艳玫李科韩冰张金来韦锦刘辉(74)专利代理机构南宁颂博远信知识产权代理事务所(普通合伙)45141专利代理师吴宁芬(51)Int.Cl.G06V10/26(2022.01)G06V10/764(2022.01)G06T7/70(2017.01)G06N3/04(2006.01)权利要求书4页说明书10页附图3页(54)发明名称基于多尺度距离图与点云语义分割的园林地图构建方法(57)摘要本发明提供了一种基于多尺度距离图与点云语义分割的园林地图构建方法，先定义园林环境中的动/静物体，使用卷积神经网络对扫描到的物体投影到距离图上提取语义信息，并对含有语义标签的距离图进行图形学闭运算处理优化动态区域，然后使用语义信息通过权值调整细化动/静区域检测敏感度，采用检查投影距离图像平面内地图点的可见性完成动静点的分类任务，最后在多个尺度距离图下实现点云的去除与恢复任务，完成静态地图的构建与优化。本发明的园林地图构建方法，改善了传统方法对静态物体误删、错删的概率，提高地图复用时点云配准精度，更能在园林环境下保留植被外观的完整信息，为园林修剪机器人的后续工作提供丰富的先验信息。CN114926637ACN114926637A权利要求书1/4页1.一种基于多尺度距离图与点云语义分割的园林地图构建方法，其特征在于，包括以下步骤：步骤S1，定义园林环境中的动/静物体：采取距离图的形式对点云进行球面投影，然后在距离图上使用卷积神经网络对扫描到的物体提取语义信息，在距离图上进行语义分割，得到含有语义标签和深度信息的距离图；步骤S2，对含有语义标签和深度信息的距离图进行图像处理算法中的闭运算操作，优化整个距离图中的动态区域，进一步的填充由于语义分割不完整而导致的目标图像覆盖不全面的现象，得到每一帧点云的语义标签与标签概率；步骤S3，使用语义信息对距离图上的动/静态区域的点云赋予不同的权值，对待去除的区域增大权值提高检测敏感度，待保留的区域减少权值降低检测敏感度，调整动/静区域点云的检测灵敏度；步骤S4，将距离图加入动态检测模型，建立多时间维度匹配模型，根据残差图初步完成动静点的分类任务；步骤S5，不断改变距离图的像素分辨率，将不同像素分辨率的距离输入步骤S4的多时间维度匹配模型中，按照步骤S4的方法进行动静点分类，然后整合各个像素分辨率下点云被分类为动/静态的次数，根据不同分辨率下的分类结果进行综合计算，最终确定动/静点的分类，然后根据每一帧中动/静点的分类和每一帧的位姿情况，将每一帧中的静态点云和对应的位姿构建静态点云地图，最后再建立静态地图。2.按照权利要求1所述的园林地图构建方法，其特征在于：在步骤S1中，距离图的像素坐标使用以下方法获得：通过映射Π：R3→R2将每帧点云中的每个点P(x，y，z)转换为球面坐标，最终转化为像素坐标，转化公式如下:在公式中，(u，v)代表激光点在图像坐标中对应的位置，(h，w)为距离图的高和宽，f＝fup+fdown表示传感器的垂直视场，r＝||pi||2表示激光点到传感器的距离信息；在这个过程中，每个点pi都对应着一对图像坐标(u，v)的元组列表，同一像素中的激光点可表示为不同的索引，最终将点云信息存储在分辨率为64×900的图像中。同时也可以将额外的信息作为额外的通道加入到图像存储中。3.按照权利要求1所述的园林地图构建方法，其特征在于：在步骤S1中，语义分割采用RangeNet++卷积神经网络对点云进行预测并生成语义信息，以kitti数据集为训练集，对道路上影响园林修剪机器人自主导航和路径规划的动态物(如汽车、自行车、人)进行网络训练；然后，RangeNet++卷积神经网络将每次扫描帧投影到距离图中进行分割，将分割出的动态物(此时并没有区分运动的物体与静止的物体，只是分割出更有可能成为动态物的类)归为一类，不应该被滤除的静态物(除定义的动态物之外)归为另一类；将每一帧的距离图推断出语义标签和分割中对应标签的概率，后续步骤中会针对不同概率的标签做进一步的处理。4.按照权利要求1所述的园林地图构建方法，其特征在于，在步骤S2中，采用膨胀+腐蚀的闭运算操作来优化整个距离图中的动态区域，方法为：2CN114926637A权利要求书2/4页首先对单个像素点取值的定义如下：其中p表示像素点(i，j