一种基于伪图像的点云与图像融合三维目标检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115731398A(43)申请公布日2023.03.03(21)申请号202211452283.4G06V10/80(2022.01)(22)申请日2022.11.18G06V10/82(2022.01)(71)申请人上海应用技术大学地址200235上海市徐汇区漕宝路120-121号(72)发明人朱勇建王嘉钰王栋张裕李长旭刘云翔(74)专利代理机构上海汉声知识产权代理有限公司31236专利代理师黄超宇胡晶(51)Int.Cl.G06V10/44(2022.01)G06N3/0464(2023.01)G06N3/08(2023.01)G06V10/77(2022.01)权利要求书1页说明书4页附图2页(54)发明名称一种基于伪图像的点云与图像融合三维目标检测方法(57)摘要本发明公开了一种基于伪图像的点云与图像融合三维目标检测方法，包括步骤1：获取不同传感器采集到的数据并进行预处理；步骤2：对获得的点云数据进行伪图像化；步骤3：将伪图像数据与图像数据送入主干网络，在特征层进行融合，获得多尺度融合特征，最终实现雷达点云与图像融合的三维目标检测。该方法结合了不同传感器得到数据的优势，实现了差异互补，并且在多尺度上进行特征提取，在特征层进行融合，对于实际情况下的不同尺寸的目标都有好的检测效果，兼具了识别效率与识别速度。CN115731398ACN115731398A权利要求书1/1页1.一种基于伪图像的点云与图像融合三维目标检测方法，其特征在于，包括以下步骤：步骤1：多传感器数据的获取与数据预处理；步骤2：点云数据的伪图像化；步骤3：伪图像数据与图像数据的多尺度特征提取，在通道注意力机制下实现在特征层的融合，最终实现三维目标的检测。2.根据权利要求1所述的一种基于伪图像的点云与图像融合三维目标检测方法，其特征在于，步骤1包括以下内容：通过激光雷达与摄像头采集数据，并对数据进行预处理。对图像的处理方法为高斯滤波去除噪点，对数据整体的处理为通过时间戳将数据成组存储，以保证点云数据与图像数据在时间维度上的一致性。3.根据权利要求1所述的一种基于伪图像的点云与图像融合三维目标检测方法，其特征在于，步骤2包括以下内容：将点云数据作为输出，通过平面化拉伸划分出均匀的网格，对网格内的点进行采样后通过PointNet特征提取与维度变化，形成与2D图像在维度上类似的伪图像特征。4.根据权利要求1所述的一种基于伪图像的点云与图像融合三维目标检测方法，其特征在于，步骤3包括以下内容：将点云数据与图像数据通过设计好的特征提取主干网络提取特征。其中特征提取层为多尺度特征提取，通过分层结构提取的特征会在后续反卷积为相同大小的特征图，通过通道注意力机制对特征整形后，将图像所提取出的特征与点云伪图像所提取出的特征融合且拼接在一起形成多尺度融合特征，通过一阶段检测器实现三维目标的检测。2CN115731398A说明书1/4页一种基于伪图像的点云与图像融合三维目标检测方法技术领域[0001]本发明涉及计算机视觉技术领域，特别涉及三维目标检测技术领域，尤其涉及一种基于伪图像的点云与图像融合的三维目标检测方法。背景技术[0002]随着自动驾驶技术的不断发展，三维目标检测方法越来越受到关注。由于实际行驶道路的复杂性和多样性，迅速、准确且高精度的目标检测方法的提出对于自动驾驶等方面有着重要的作用。三维目标检测主要是通过摄像头、双目相机、激光雷达、毫米波雷达等传感器获得图像、点云等信息，输出被识别出目标在三维空间中的位置。图像包含了相当丰富的语义信息，但是由于无法体现深度等信息，对于三维目标的检测效果不佳。激光雷达点云包含了大场景下物体的三维结构信息，是三维目标检测的主要数据源。由于点云数据信息量大，无序性强，密度不一致，在使用方面与图像有很大的区别，一些学者选择对点云数据直接处理，虽然取得了一定的效果，但是参数量和推理过程很大程度上并不具有很好的实时性。而且点云虽然对三维信息描述的很好，但是缺少颜色、纹理等语义信息，而且容易受到环境干扰，点云的疏密也对检测的结果有很大的影响。因此我们选择将这两种传感器的信息结合起来，用图像语义信息来补充点云信息，以达到更好的检测效果。现有的一些融合策略通常都是通过投影的方式来实现维度之间的相互转换，但是容易出现视角变化所导致的对应关系不准确，感受野不匹配等问题，造成不好的融合效果。发明内容[0003]为了克服现有技术中的不足，本发明提供一种基于伪图像的点云与图像融合三维目标检测方法，解决现有传统方法检测效率低，准确率低的问题。该方法将点云转化为伪图像，后续采用更加成熟的2D卷积处理，通过注意力机制将伪图像特征与图像特征在同一个尺度下融合成全局特征来避免感受野不匹配等问题。[000