基于YOLACT的三维激光雷达道路点云分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114155265A(43)申请公布日2022.03.08(21)申请号202111458626.3(22)申请日2021.12.01(71)申请人南京林业大学地址210037江苏省南京市龙蟠路159号(72)发明人李秋洁严宇(74)专利代理机构北京思创大成知识产权代理有限公司11614代理人高爽(51)Int.Cl.G06T7/136(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T5/50(2006.01)权利要求书2页说明书5页附图1页(54)发明名称基于YOLACT的三维激光雷达道路点云分割方法(57)摘要一种基于YOLACT的三维激光雷达道路点云分割方法，该方法包括以下步骤：样本数据点云变换，将三维激光雷达的道路点云数据球面投影为二维图像数据；标注并分割目标，构建用于训练的图像数据集；基于卷积神经网络模型进行训练，得到三维激光雷达道路点云实例分割模型；对待处理的实测三维激光雷达道路点云数据进行处理，分割出道路目标实例。本发明的方法首先将三维点云数据球面投影为二维图像数据，然后采用YOLACT端到端图像实例分割算法实现道路目标实例的准确分割。CN114155265ACN114155265A权利要求书1/2页1.一种基于YOLACT的三维激光雷达道路点云分割方法，其特征在于，该方法包括以下步骤：S1、样本数据点云变换：将三维激光雷达装载在移动车辆上扫描道路获取样本点云数据，包括激光反射强度I，测量点的三维直角坐标(x,y,z)；进行点云变换，将三维激光雷达的道路点云数据球面投影为二维图像数据；S2、构建训练集：按照步骤S1获取若干样本的二维图像数据，标注二维图像数据并分割目标，构建用于训练的图像数据集；S3、模型训练：基于卷积神经网络模型，对步骤S2获取的图像数据集进行训练，得到三维激光雷达道路点云实例分割模型；S4、模型预测：对待处理的实测三维激光雷达道路点云数据，采用S1的步骤进行处理获取二维图像数据，对二维图像数据切割后输入三维激光雷达道路点云实例分割模型进行处理，分割出道路目标实例。2.根据权利要求1所述的基于YOLACT的三维激光雷达道路点云分割方法，其特征在于：步骤S1中通过点云变换获取的二维图像数据包括：二维图像像素坐标(i,j)和该像素坐标处的图像三通道数据(r,g,b)，具体采用以下步骤：S1‑1、令O为激光束发射位置，P为测量点，根据测量点P的三维直角坐标(x,y,z)，计算激光束OP的天顶角和方位角θ；S1‑2、根据下述公式求取测量点P的二维图像像素坐标(i,j)；其中：为天顶角分辨率，为三维激光雷达的最小天顶角，Δθ为方位角分辨率，θmin为三维激光雷达的最小方位角；S1‑3、构建宽为w、高为h的三通道彩色图像，图像像素默认值为0；其中：为三维激光雷达的最大天顶角，θmax为三维激光雷达的最大方位角；S1‑4、采用下述公式获取测量点P的像素坐标(i,j)处的图像三通道数据(r,g,b)：2CN114155265A权利要求书2/2页S1‑5、采用归一化方法将图像三通道数据取值范围变换到0‑255。3.根据权利要求1所述的基于YOLACT的三维激光雷达道路点云分割方法，其特征在于：步骤S2中，S2‑1、对于二维图像数据，将每幅图像切割至统一尺寸；S2‑2、使用labelme标注出每幅图像中需要分割的道路目标实例，得到相应的json文件；S2‑3、将训练图像和json文件转换成coco格式的数据集。4.根据权利要求3所述的基于YOLACT的三维激光雷达道路点云分割方法，其特征在于：步骤S2‑1中，对切割后的图像进行水平翻转，扩充数据集。5.根据权利要求1所述的基于YOLACT的三维激光雷达道路点云分割方法，其特征在于所述的模型训练具体包括：S3‑1、将用于训练的图像数据集输入卷积神经网络模型，生成特征图；S3‑2、将生成的特征图输入特征金字塔FPN进行融合；S3‑3、对特征金字塔FPN融合后的特征图进行语义分割并计算语义分割损失，同时将特征图分别输入到两个并行的分支当中：第一个分支使用基于FCN的原型掩码生成网络protonet产生原型掩码prototypemask；第二个分支通过预测头网络PredictionHead输出各目标包围框位置的4个坐标，mask系数以及分类置信率，并将PredictionHead网络得到的结果进行快速非极大值抑制FastNMS处理；S3‑4、将FastNMS的处理结果和Protonet输出的原型mask进行组合运算，输出最终道路目标的实例信息，包括实例类别、实例边界框和实例掩膜；S3‑5、将步骤S3‑4得到的道路目标实例的类别、边界框、掩膜信息与步骤S2