一种基于融合图像特征的毫米波雷达目标检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114218999A(43)申请公布日2022.03.22(21)申请号202111288212.0(22)申请日2021.11.02(71)申请人上海交通大学地址200240上海市闵行区东川路800号(72)发明人张卫东李敏陈卫星谢威高睿(74)专利代理机构上海科盛知识产权代理有限公司31225代理人杨宏泰(51)Int.Cl.G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图2页(54)发明名称一种基于融合图像特征的毫米波雷达目标检测方法及系统(57)摘要本发明涉及一种基于融合图像特征的毫米波雷达目标检测方法，该方法包括以下步骤：步骤1：通过图像特征处理模块得到输入图像的3D鸟瞰特征图，并输入至雷达数据特征与图像特征融合模块；步骤2：通过雷达数据特征与图像特征融合模块得到规范化后的雷达特征图，并将其与3D鸟瞰特征图进行融合，得到融合后的特征图；步骤3：基于融合后的特征图对目标检测模块的目标检测网络进行训练；步骤4：目标检测网络训练完成后，输入雷达数据进行目标检测，与现有技术相比，本发明具有提高自动驾驶汽车目标检测的准确率以及避免了恶劣天气条件下激光雷达和相机目标检测准确率降低的问题等优点。CN114218999ACN114218999A权利要求书1/3页1.一种基于融合图像特征的毫米波雷达目标检测方法，其特征在于，该方法包括以下步骤：步骤1：通过图像特征处理模块得到输入图像的3D鸟瞰特征图，并输入至雷达数据特征与图像特征融合模块；步骤2：通过雷达数据特征与图像特征融合模块得到规范化后的雷达特征图，并将其与3D鸟瞰特征图进行融合，得到融合后的特征图；步骤3：基于融合后的特征图对目标检测模块的目标检测网络进行训练；步骤4：目标检测网络训练完成后，输入雷达数据进行目标检测。2.根据权利要求1所述的一种基于融合图像特征的毫米波雷达目标检测方法，其特征在于，所述的步骤1中，通过图像特征处理模块得到输入图像的3D鸟瞰特征图的过程具体包括以下步骤：步骤101：将图像输入到预训练后的深度残差网络中，提取多种不同分辨率的图像特征，即输出多尺度的特征图，并生成特征金字塔；步骤102：特征金字塔从低分辨率的图像特征向上采样，为高分辨率的图像特征提供上下文信息；步骤103：通过简单相机几何对图像特征进行投影变换，分别将不同尺度的图像特征图投影为3D鸟瞰特征图。3.根据权利要求2所述的一种基于融合图像特征的毫米波雷达目标检测方法，其特征在于，所述的步骤101中，多种不同分辨率的图像特征为深度残差网络从第三卷积层到第七卷积层的每个残差阶段的输出。4.根据权利要求2所述的一种基于融合图像特征的毫米波雷达目标检测方法，其特征在于，所述的步骤103中，通过简单相机几何对图像特征进行投影变换的过程具体包括以下步骤：步骤a：将特征金字塔中一个高为H、宽为W、有C个通道的特征图经过深度残差网络的瓶颈层分别沿垂直维度和通道维度压缩成尺寸为B×W的瓶颈特征，瓶颈层采用1×1卷积神经网络，用以降低特征维度，即根据瓶颈层的膨胀率ε将特征图沿垂直维度和通道维度压缩，输出的尺寸为B＝Hε×Wε，沿垂直维度和通道维度压缩时水平维度不变，即宽W不变；步骤b：瓶颈特征经过1×1卷积层，沿深度维度预测拓展得到一组极坐标系下的维度为C×Z×W的特征张量，Z为深度，W为宽，C为通道数；步骤c：将极坐标系下的特征张量重新采样到笛卡尔坐标系中，得到该特征图的3D鸟瞰特征图；步骤d：返回步骤a，将所有尺度的特征图投影为3D鸟瞰特征图后，拼接成与雷达特征图相同大小的3D鸟瞰特征图。5.根据权利要求1所述的一种基于融合图像特征的毫米波雷达目标检测方法，其特征在于，所述的步骤2中，得到融合后的特征图的过程具体包括以下步骤：步骤201：雷达数据通过3D卷积层提取雷达数据特征，并得到雷达特征图；步骤202：将提取到的雷达数据特征经过规范化层进行特征规范化；步骤203：将规范化后的雷达特征图与图像特征处理模块得到的3D鸟瞰特征图通过融合，得到融合后的特征图。2CN114218999A权利要求书2/3页6.根据权利要求5所述的一种基于融合图像特征的毫米波雷达目标检测方法，其特征在于，所述的步骤202中，进行特征规范化的过程具体包括以下步骤：步骤a：计算各个隐藏层的期望和标准差，各个隐藏层的期望和标准差的计算公式为：其中，μl为第l个隐藏层的期望，H为该规范化层的节点数，为第l个隐藏层的第i个节点在激活前的值；步骤b：根据各个隐藏层的期望和标准差得到标准化后的值其中，为第l个隐藏层的第i个节点标准化后的值，g和b分别为增益和偏置参数；步骤c：经过激活函