一种基于四类多模态数据融合的目标多维度检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113971801A(43)申请公布日2022.01.25(21)申请号202111255921.9G06V10/762(2022.01)(22)申请日2021.10.27G06V10/774(2022.01)G06V10/80(2022.01)(71)申请人南京师范大学G06V10/82(2022.01)地址210024江苏省南京市鼓楼区宁海路G06K9/62(2022.01)122号G06N3/04(2006.01)申请人江苏省中以产业技术研究院G06N3/08(2006.01)(72)发明人吕昊方铭宇宋治儒钱伟行刘童亓霈孟佳杰汪澜泽马玉浩(74)专利代理机构南京经纬专利商标代理有限公司32200代理人朱小兵(51)Int.Cl.G06V20/64(2022.01)G06V10/40(2022.01)权利要求书1页说明书4页附图2页(54)发明名称一种基于四类多模态数据融合的目标多维度检测方法(57)摘要本发明公开了一种基于四类多模态数据融合的目标多维度检测方法，包括：采集待检测目标的雷达点云图像、红外图像、磁场图像以及RGB图像，搭建卷积神经网络对四种输入图像进行特征提取，将预定义三维锚框投影到四种特征图上，搭建引入注意力模块的RPN网络生成建议框，将建议框投影到四种特征图上，搭建全连接网络实现边界框回归、方向估计和类别分类。本发明针对采用通常的RGB图像目标检测方法的缺陷，利用雷达、红外以及磁场图像可以弥补信息的缺失，提高对目标的检测精度。CN113971801ACN113971801A权利要求书1/1页1.一种基于四类多模态数据融合的目标多维度检测方法，其特征在于，包括以下步骤：步骤1、采集待检测目标的雷达、红外、磁场以及彩色图像，将其划分为训练集、验证集和测试集，并且进行三维锚框标注，生成数据集；步骤2、搭建四个结构独立的卷积神经网络作为主干网络，用于提取四种输入图像的特征图；步骤3、在训练集上通过聚类预先设置三维锚框，投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建RPN网络生成建议框，同时引入注意力模块；步骤4、将RPN网络生成的建议框投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建全连接网络，生成最终的预测框，同时引入注意力模块。2.根据权利要求1所述的多维度检测方法，其特征在于，步骤1包括：步骤1.1、将雷达、红外传感器、磁传感器以及摄像头集成到一起，确保四种图像对齐，采集足够数量的四种类型的目标图像，去除其中不清晰的图像，其中雷达点云数据转换成BEV鸟瞰图；步骤1.2、将获得的数据集按一定比例划分为训练集、验证集和测试集，对训练集和验证集进行三维锚框标注，测试集用于评估目标检测网络训练的效果。3.根据权利要求1所述的多维度检测方法，其特征在于，步骤2中，是通过四个结构独立的卷积神经网络分别对四种输入图像进行特征提取，主干网络采用VGG16结构，在conv‑4处截断，每个卷积层滤波器数量变为原来的一半，最终提取四个256通道的特征图，同时采用GAU模块增强特征图的信息。4.根据权利要求1所述的多维度检测方法，其特征在于，步骤3包括：步骤3.1、在训练集上采用聚类算法为每个类别生成大量的预定义锚框，并将其投影到主干网络的四种输出特征图上，裁剪对应的部分并且通过池化操作调整为相同宽高的特征图；步骤3.2、对于每个锚框，通过元素平均操作将四种特征图进行融合，然后将其输入全连接网络，最终输出锚框的回归参数以及为前景的分数；步骤3.3、在RPN网络中引入了注意力模块，使用分类识别定位策略Grad‑CAM，获取最后一个卷积层的输出特征图，在进行反向传播时求得特征图的梯度，取平均和最大值的和作为每个特征图的权重，最后加权求和经过LeakyReLU激活函数得到类激活图；再使用反向注意力网络IAN生成生成空间方向的反向注意力图和通道方向的反向注意力图，然后组合生成反向注意力图，最后与卷积层输出特征图相乘。5.根据权利要求1所述的多维度检测方法，其特征在于，步骤4中，将步骤3生成的建议框投影到四种特征图上，裁剪并池化到相同大小，然后采用元素平均操作进行融合，输入全连接网络，最终输出每个建议框的回归参数、方向估计以及类别分类；同时也引入注意力模块，利用GradCAM和基于梯度的IAN计算反向注意力图，再与融合后的特征图进行元素相乘。2CN113971801A说明书1/4页一种基于四类多模态数据融合的目标多维度检测方法技术领域[0001]本发明涉及深度学习、图像识别、三维目标检测技术领域，特别涉及了一种基于四类多模态数据融合的目标多维度检测方法。背景技术[0002]在机器人、自动装载和自动驾驶等许多实际应用中，物体的三维位置信息越来越受到重视