一种基于雷达和图像数据融合检测的防御方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113156440A(43)申请公布日2021.07.23(21)申请号202110457163.2G01S7/36(2006.01)(22)申请日2021.04.27G01S7/41(2006.01)(71)申请人浙江工业大学地址310014浙江省杭州市拱墅区潮王路18号(72)发明人傅晨波姚虹蛟冯婷婷徐倩宣琦(74)专利代理机构杭州天正专利事务所有限公司33201代理人王兵(51)Int.Cl.G01S13/91(2006.01)G01S13/89(2006.01)G01S13/86(2006.01)G01S13/00(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于雷达和图像数据融合检测的防御方法及系统(57)摘要一种基于雷达和图像数据融合检测的防御方法，包括：S1，在自动驾驶正常运行过程中，对摄像机进行致盲攻击；S2，自动驾驶的离线平台对数据进行采集，并进行攻击检测；S3，经过主系统确认存在攻击，自动驾驶的离线平台重新进行training部署；S4，自动驾驶的在线平台，利用新的模型进行目标检测，从而达到防御效果。本发明还包括一种基于雷达和图像数据融合检测的防御系统，由依次连接的攻击检测模块、training重部署模块、目标检测模块组成。本发明利用了可以调节大小、位置、亮度的光斑，仿真进行致盲攻击，仿真实验结果说明致盲攻击会对自动驾驶形成安全隐患，利用所提出的防御方法可以抵御攻击，提高自动驾驶的安全性。CN113156440ACN113156440A权利要求书1/2页1.一种基于雷达和图像数据融合检测的防御方法，其特征在于：包括以下步骤：S1，在自动驾驶正常运行过程中，对摄像机进行致盲攻击；S2，自动驾驶的离线平台对数据进行采集，并进行攻击检测；S3，经过主系统确认存在攻击，自动驾驶的离线平台重新进行training部署；S4，自动驾驶的在线平台，利用新的防御模型进行目标检测，从而达到防御效果。2.如权利要求1所述的一种基于雷达和图像数据融合检测的防御方法，其特征在于：所述S1具体包括：S1.1，在自动驾驶正常运行过程中，会利用车载传感器收集相关数据；仿真实验利用nuScenes数据集进行实验，使用其官方提供的v1.0‑mini数据集中的5个毫米波雷达数据和6个摄像机图像数据；S1.2，利用LED灯对摄像机进行攻击；仿真实验利用Python程序在6个摄像机图像数据上添加光斑。3.如权利要求2所述的一种基于雷达和图像数据融合检测的防御方法，其特征在于：所述S1.2具体包括：S1.2.1，自行设置光斑半径与图像最短变长之比、光斑中心大小和亮度；S1.2.2，遍历摄像机图像数据，利用随机函数在每个图像上随机添加光斑进行攻击，生成被攻击后的摄像机图像数据集。4.如权利要求1所述的一种基于雷达和图像数据融合检测的防御方法，其特征在于：所述S2具体包括：S2.1，利用SVM分类算法，对新采集图像数据和原始数据进行攻击检测，发现分类错误，则给主系统发送错误信号；仿真实验中新采集的图像数据为攻击后的摄像机图像数据集；S2.2，未发现分类错误，则给主系统发送正常驾驶信号，无需进行后续步骤。5.如权利要求1所述的一种基于雷达和图像数据融合检测的防御方法，其特征在于：所述S3具体包括：S3.1，离线平台提高雷达数据在数据融合神经网络模型训练中的比重；S3.2，利用被攻击后的图像数据和雷达数据重新进行模型训练，从而提高目标检测分类精度。6.如权利要求5所述的一种基于雷达和图像数据融合检测的防御方法，其特征在于：所述S3.1具体包括：S3.1.1，未受到攻击时，雷达数据预处理，将多周期的雷达数据从二维点云数据同时映射到图像垂直平面，雷达数据包括方位角，距离，雷达高度均设置为3米；雷达回波的特征作为像素值存储在增强图像中；在没有雷达回波的图像像素位置，投影的雷达通道值被设置为0值；S3.1.2，检测受到攻击时，将雷达回波的特征扩大5倍作为像素值存储在增强图像中；在没有雷达回波的图像像素位置，投影的雷达通道值被设置为0值。7.如权利要求5所述的一种基于雷达和图像数据融合检测的防御方法，其特征在于：所述S3.2具体包括：S3.2.1，神经网络的输入为相机图像的三个通道(红、绿、蓝)和雷达通道组成的四维通道，输出为目标检测盒的二维回归坐标和检测盒的分类分数；2CN113156440A权利要求书2/2页S3.2.2，深度学习神经网络采用以VGG16的卷积块作为主要处理单元，通过max‑pooling以相应比例处理输入；S3.2.3，在每层均进行融合处理，深层网络增加特征金字塔(FPN)产生分类和回归结果，通过不断训练优化损失，最终使得模型达到稳定状态；S3