一种基于点云数据与图像数据融合的3D目标检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114298151A(43)申请公布日2022.04.08(21)申请号202111408438.XG06V10/80(2022.01)(22)申请日2021.11.19G06V10/26(2022.01)(71)申请人安徽集萃智造机器人科技有限公司地址230000安徽省合肥市中国（安徽）自由贸易试验区合肥市高新区创新大道2800号创新产业园二期F5栋21楼(72)发明人王海雷(74)专利代理机构合肥东信智谷知识产权代理事务所(普通合伙)34143代理人陈格兵(51)Int.Cl.G06K9/62(2022.01)G06T7/11(2017.01)G06T7/80(2017.01)G01S17/86(2020.01)权利要求书1页说明书4页附图2页(54)发明名称一种基于点云数据与图像数据融合的3D目标检测方法(57)摘要本发明公开了一种基于点云数据与图像数据融合的3D目标检测方法，该方法首先完成相机与雷达的联合标定并获取图像数据及点云数据，然后基于图像数据及点云数据提取点云视锥及实例分割，并基于3D空间中的分割掩膜反投影至图像平面提取并计算得到分割实例对应的彩色点云数据，最后将不同视角下的彩色点云数据输入点云检测网络进行包围框预测得到3D检测包围框。本发明采用单目相机加四线激光雷达，具有低成本、操作简便、棒性高的优势，同时能降低点云数据搜索空间，充分利用图像语义信息，无需改变后端检测框架，3D检测器可灵活切换。CN114298151ACN114298151A权利要求书1/1页1.一种基于点云数据与图像数据融合的3D目标检测方法，其特征在于，包括如下步骤：步骤1)、通过完成了联合标定的相机与雷达分别获取图像数据及点云数据；步骤2)、基于图像数据进行2D包围框生成，结合生成的所述2D包围框坐标投影至3D空间，提取点云视锥，并将提取的所述点云视锥中的点云直接输入网络，进行点维度的实例分割；步骤3)、基于点云数据生成3D空间中的分割掩膜并反投影至图像平面，提取分割的所述实例的像素值，将提取的所述像素值的点云数据和图像数据融合，得到彩色点云数据；步骤4)、将不同视角下的所述彩色点云数据输入点云检测网络进行包围框预测得到3D检测包围框。2.根据权利要求1所述的一种基于点云数据与图像数据融合的3D目标检测方法，其特征在于，所述步骤3)中分割掩膜反投影的图像平面包括相机直接获取的图像数据以及利用透视变换将所述相机直接获取的图像数据转换得到的俯视图数据。3.根据权利要求1所述的一种基于点云数据与图像数据融合的3D目标检测方法，其特征在于，所述步骤2)中基于图像数据进行2D包围框生成采用YOLOv5框架，保存YOLOv5在ImageNet上预训练的权重，冻结低维度特征层，在步骤1)中获取的所述图像数据数据集中进行高层特征参数微调。2CN114298151A说明书1/4页一种基于点云数据与图像数据融合的3D目标检测方法技术领域[0001]本发明属于计算机视觉技术领域，特别涉及一种基于点云数据与图像数据融合的3D目标检测方法。背景技术[0002]2D目标检测仅需提供目标物体包围框在图片中像素坐标和对应类别的置信度，但无法提供感知环境所需要的全部信息。相比之下，3D目标检测需要根据点云数据、RGB图像和鸟瞰图像等信息，输出空间物体的绝对位置坐标、物体的长宽高尺寸和旋转角度等，从而进行道路规划与决策。随着自动驾驶技术逐渐落地，越来越多的研究团体开始研究3D目标检测，例如国外的Google、Uber、特斯拉和国内的百度、小鹏等公司，3D目标检测同时也在AR和VR中开始广泛应用，是近几年来计算机视觉领域中备受关注的前沿方向。[0003]近年来，深度学习技术取得了长足的进步，其对计算机视觉的影响最为明显。深度学习中的卷积神经网络(CNN)，可以从大量数据中提取特征表达，具有很强的表征学习能力，非常适合应用在计算机视觉领域中。然而，3D视觉中的点云数据具有无序性、稀疏性和非结构化等特点，极大地限制了CNN的特征提取能力，由此衍生出了3D‑CNN、PointNet/PointNet++、GCN等面向点云的特征提取工具。根据输入数据的类型，3D目标检测框架可分为三大类：[0004]1)基于图像的3D目标检测，摄像头采集的2D图像数据包含丰富的细节、纹理、颜色等信息，且能有效利用发展成熟的2D目标检测技术提取场景物体特征。Mono3D首先根据地面目标先验知识，在3D空间中用典型的物理大小采样候选边界框，之后将边界框投影在图像平面上，这样就避免了在图像中的多尺度搜索。之后利用语义类别、语义分割、目标形状、环境、位置等多种特征对候选边界框进行评分。3DOP由于3D环境中普遍存在遮挡、阴影以及微