一种基于毫米波雷达和视频融合的车辆检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114120288A(43)申请公布日2022.03.01(21)申请号202111473173.1G01S13/58(2006.01)(22)申请日2021.12.02G01S13/86(2006.01)G01S13/91(2006.01)(71)申请人北京航空航天大学合肥创新研究院G01S13/92(2006.01)（北京航空航天大学合肥研究生院）地址230013安徽省合肥市新站高新区文忠路999号(72)发明人张俊杰杨灿常屹卓于海洋任毅龙(74)专利代理机构安徽合肥华信知识产权代理有限公司34112代理人方琦(51)Int.Cl.G06V20/58(2022.01)G06V20/40(2022.01)G01S13/50(2006.01)权利要求书1页说明书4页附图1页(54)发明名称一种基于毫米波雷达和视频融合的车辆检测方法(57)摘要本发明公开了一种基于毫米波雷达和视频融合的车辆检测方法。本发明是通过毫米波雷达检测目标车辆的速度、距离、角度信息，摄像头检测目标车辆的位置和类型，然后在时间和空间上将毫米波雷达和摄像头完成对准，得到最终的检测结果。此方法可广泛应用于智能交通系统、车路协同系统等领域，以改善无信号交叉口的交通状况，为交叉口的协同优化控制提供重要的技术方法支撑。CN114120288ACN114120288A权利要求书1/1页1.一种基于毫米波雷达和视频融合的车辆检测方法，其特征在于：具体包括以下步骤：(1)空间坐标对准：引入视频数据和毫米波雷达数据，将视频和雷达坐标统一，将雷达坐标定位到图像数据上；(2)时间坐标对准：采取多线程的方式完成时间坐标的对准；(3)数据融合方法；使用基于检测框重叠比的数据融合算法，对毫米波雷达数据和视频数据进行分析，根据二者重合部分，选取更加准确的数据，形成新的检测框。2.根据权利要求1所述的一种基于毫米波雷达和视频融合的车辆检测方法，其特征在于：步骤(1)所述的空间坐标对准，具体步骤如下：首先，引入摄像头的内部参数矩阵Min和外部参数矩阵Mout；其中，fx、fy分别称为u轴和v轴上的归一化焦距，u0和v0为图像中心；外部参数矩阵Mout包括俯仰、偏航和滚转三参数a＝pitch*π/180，b＝yaw*π/180，c＝roll*π/180；pitch、yaw、roll分别代表摄像头的俯仰角、偏航角和滚转角；并将二者相乘：Mmulti＝Min*Mout，Mmulti表示内部参数矩阵与外部参数矩阵乘积；其次，引入毫米波雷达的四个矫正系数Xr，Yr，Zr，Zc，以及毫米波雷达的俯仰角pitchr和毫米波雷达的安装高度hr，其表达式如下：Xr＝DistLat；Zr＝DistLong；Zc＝‑cosa*sinb*cosc*sina*sinc*Xr+cosa*sinb*sinc*sina*cosc*Yr+cosa*cosb*Zr+0.12；DistLat和DistLong分别代表横向距离和纵向距离；并用一个矩阵存储：D＝(Xr，Yr，Zr，1)；最后，将视频和雷达坐标统一，将雷达坐标定位到图像数据上ur＝Mmulti*D(0，0)/Zcvr＝Mmulti*D(1，0)/Zc，ur和vr分别代表雷达框中心横坐标和纵坐标。3.根据权利要求1所述的一种基于毫米波雷达和视频融合的车辆检测方法，其特征在于：步骤(2)所述的采取多线程的方式完成时间坐标的对准，具体步骤如下：(a)由于视频帧快于毫米波雷达帧，应让视频帧等待毫米波雷达数据，因此当视频数据线程处理数据后，将视频数据存入队列；(b)当毫米波雷达获取信息，经过毫米波雷达线程处理并向融合线程传输时，同时向视频线程发送一条命令，也向融合线程传递最新存储的视频信息；(c)融合线程将最新收集的视频数据和毫米波雷达数据融合，完成时间上的对准。2CN114120288A说明书1/4页一种基于毫米波雷达和视频融合的车辆检测方法技术领域[0001]本发明涉及智能交通系统、车路协同系统技术领域，尤其涉及一种基于毫米波雷达和视频融合的车辆检测方法。背景技术[0002]近年来，随着智能交通系统的发展，路侧服务越来越广泛的应用于城市道路交通系统。目前，城市中许多无信号交叉口缺乏信号控制，交通流混乱，易发生交通事故，亟需交通管理与控制手段。而现阶段基于视频或毫米波雷达的车辆检测都存在一定的问题，从硬件上看，雷达对目标的识别能力有限，检测的过程中会出现虚警和漏检的现象，摄像头的检测距离有限，而且易受天气影响，而能够规避一定硬件影响的目标检测算法通常复杂度较高，运算速度较慢。传统的行车轨迹预测要依托大量数据，虽然精确度高，但是较为复杂、实时性差，而在硬件设备不足的情况下，难以提供大量数据做支持。因此