一种基于雷视融合探测的车辆识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113627373A(43)申请公布日2021.11.09(21)申请号202110945165.6G06N20/00(2019.01)(22)申请日2021.08.17(71)申请人山东沂蒙交通发展集团有限公司地址276023山东省临沂市海关路79号(72)发明人王德印朱治玲刘晓珑何龙刚刘克旗李洪萍伏广尧孙波付超张弛(74)专利代理机构深圳紫晴专利代理事务所(普通合伙)44646代理人陈映辉(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书2页说明书7页附图4页(54)发明名称一种基于雷视融合探测的车辆识别方法(57)摘要本发明公开了一种基于雷视融合探测的车辆识别方法，选取交通路口数据，视频分辨率采用1920*1080；采用YOLOv4主干网络结构；基于YOLOv4的多标签和图片拼接检测；毫米波雷达感知模块；基于熵信息差异互补模型设计的雷视融合模块；雷视融合仿真模块；自采集数据实验，本发明属于机器学习及深度学习技术领域，具体是指一种基于雷视融合探测的车辆识别方法，针对可见光遥感图像在处理小样本集小目标检测的应用需求，针对性的提出应用在遥感地面车辆小目标的有效的深度学习目标检测方法。CN113627373ACN113627373A权利要求书1/2页1.一种基于雷视融合探测的车辆识别方法，其特征在于，具体包括如下步骤：S1：选取交通路口数据，视频分辨率采用1920*1080；S2：采用YOLOv4主干网络结构YOLOv4属于单步检测算法，YOLOv4在输入端进行改进，采用Mosaic数据，将4张照片以随机缩放、随机裁剪、随机排布的方式进行拼接，加入了SPP模块，即空间金字塔池化，增加主干特征的接收范围，分离了上下文特征；S3：基于YOLOv4的多标签和图片拼接检测实际交通场景下的车辆目标检测对实时性要求高，在保证检测正确率的同时目标检测网络的检测速度快，YOLOv4对网络结构进行了轻量化修改使得在准确率相同的情况下速度超过其他目标检测网络；在YOLOv4的基础上，在输入端加入一个Splicinglayer网络层，将四张1920×1080的待检测图像拼接成一个3840×2160的大图，拼接完成后再进行检测，四张图像只需要调用一次检测器，提高了车辆目标的检测速度；由于图像拼接后，图像变大，车辆目标相对原始图像变小，为了保证训练权重适用于拼接图像的检测，在多样化数据集基础上重新制作一个拼接图像数据集，先将图片拼接后再进行样本数据标记工作，用拼接数据集进行深度神经网络训练，得到适用的检测所需权重文件，由于原图片的分辨率已经很高，拼接图片的大小变大，导致训练速度变慢，但为了保证图像的质量，不会对图像做缩放操作，保证了检测拥有足够的精度；在车辆目标检测完成后，加入了对应的分解操作，检测到的结果是相对于拼接后的大图而言的，因此需将拼接后的图像检测结果回归到单一的图像帧中；分解层先通过对检测结果进行判断，判定检测框所在的原始图像，再根据不同位置图片对应的坐标位置对检测结果进行修改，从而完成检测结果的分解；S4：毫米波雷达感知模块毫米波雷达根据目标回波的特征对物体进行分类和识别，应用于车路协同系统中的毫米波雷达目标特征提取技术包括基于目标雷达截面积RCS的目标特征提取技术、目标微动特征的检测技术、基于一维高分辨率距离像特征提取技术、基于极化信息的特征提取技术；S5：基于熵信息差异互补模型设计的雷视融合模块基于熵信息差异互补的雷视融合探测技术是针对雷达探测技术对四轮以上、车厢带有各种货物的异形车辆识别裂变问题，结合图像检测效果，对雷达和光电二者信息进行融合处理提出的，通过将雷达与视频原始信号进行融合感知分析，对超长超宽车辆特征进行匹配识别，实现车辆目标的同一性确定，提升大车轨迹识别准确率与轨迹识别符合率，进而获得车辆精确定位和准确流量统计，包括：(1)熵信息差异互补模型设计；(2)模型测试结果统计；S6：雷视融合仿真模块采用kalman滤波来说明多传感器数据融合在目标跟踪方面的性能的优越性；S7：自采集数据实验基于以上优化设计方案，自主获取相关数据，对基于yolov4和雷达探测的融合结果；选取其中包含不同小目标、不同状态目标的测试数据进行测试。2CN113627373A权利要求书2/2页2.根据权利要求2所述的一种基于雷视融合探测的车辆识别方法，其特征在于，步骤S4中基于目标雷达截面积RCS的目标特征提取技术：在雷达信号处理中，RCS是描述目标本质特征的指标，主要与目标的形状、材质、信号入射角度、辐射信号频率相关；在目标的外在形状、材质、入射频率等确定不变