一种基于毫米波雷达和视频融合的目标检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114236528A(43)申请公布日2022.03.25(21)申请号202210165545.2(22)申请日2022.02.23(71)申请人浙江高信技术股份有限公司地址310000浙江省杭州市下城区文晖路303号(72)发明人王益维谢晓辉袁红叶杜国宪钟丹董威周甄柳晖(74)专利代理机构杭州凯知专利代理事务所(普通合伙)33267代理人金国栋(51)Int.Cl.G01S13/86(2006.01)G01S13/931(2020.01)权利要求书3页说明书6页附图2页(54)发明名称一种基于毫米波雷达和视频融合的目标检测方法及系统(57)摘要本申请提出了基于毫米波雷达和视频融合的目标检测方法及系统，首先过滤毫米波雷达和摄像机所获取的无效目标，缩小检测目标范围；在确保毫米波雷达和摄像机空间同步的情况下，进行毫米波雷达和摄像机检测结果的目标匹配；计算目标检测交并比，根据目标检测交并比判断目标匹配的准确性，对于无法判断识别准确性的情况，进一步采用全局最近邻数据关联算法进行第二次目标匹配，从而实现毫米波雷达和摄像机的检测对象尽可能多的目标匹配，有助于降低目标对象的漏检率，同时保证了识别匹配的准确率。CN114236528ACN114236528A权利要求书1/3页1.一种基于毫米波雷达和视频融合的目标检测方法，其特征在于，通过毫米波雷达和摄像机检测同一场景下目标；包括如下步骤：从所述毫米波雷达获取雷达检测数据，从所述雷达检测数据中提取动态的雷达有效目标；从所述摄像机获取视频检测数据，从所述视频检测数据中提取动态的视频有效目标；对所述毫米波雷达和摄像机的检测结果进行时空同步，将所述视频有效目标投影到雷达扫描平面，与所述雷达有效目标进行目标匹配，实现多传感器数据融合；基于扩展卡尔曼滤波算法进行目标存在性验证；通过融合目标决策，输出融合目标检测结果。2.根据权利要求1所述的一种基于毫米波雷达和视频融合的目标检测方法，其特征在于，根据目标检测交并比融合进行所述目标匹配，包括：用视觉检测框标注所述雷达扫描平面上的视频有效目标，以所述视觉检测框的底边中点作为目标位置点，获得视频有效目标的位置信息；用雷达检测框标注所述雷达扫描平面上的雷达有效目标，以所述雷达检测框的底边中点作为目标位置点，获得雷达有效目标的位置信息；设针对某一目标的雷达检测框和视觉检测框分别为、，交并比k1=（∩）/（∪），判断k1值是否处于k1∈[0.3，1]，若是，说明雷达和摄像机共同识别出该目标，得到匹配目标；否则，说明毫米波雷达和摄像机无法进行目标匹配，则进行第二次目标匹配。3.根据权利要求2所述的一种基于毫米波雷达和视频融合的目标检测方法，其特征在于，采用全局最近邻数据关联算法进行第二次目标匹配，包括：设毫米波雷达和摄像机剩余有效目标个数分别为m和n，毫米波雷达和摄像机剩余有效目标到坐标原点的距离分别为、，将雷达检测值作为航迹i，摄像机检测值作为量测j；设(k)为k时刻航迹i与量测j的残差，其计算公式为，其中H表示状态转移矩阵，航迹i与量测j的归一化距离表示为其中：表示的协方差矩阵；设Gi表示航迹i的门限值，当满足≤Gi时，认为量测j落入航迹i的门限内，进行匹配，同时航迹和量测的匹配需满足以下约束条件：2CN114236528A权利要求书2/3页=即每个航迹最多匹配一个量测，每个量测对应一个航迹；代价函数定义为其中表示代价，计算公式为；通过上述公式可得出全局最近邻数据关联算法的代价函数，即可得到剩余毫米波雷达和摄像机的匹配目标。4.根据权利要求1所述的一种基于毫米波雷达和视频融合的目标检测方法，其特征在于，对所述匹配目的目标位置进行加权处理，将加权后的目标位置和毫米波雷达检测的其他信息综合后输出，加权策略为，其中δcx和δrx、δcy和δry分别表示视频有效目标的位置和雷达有效目标的位置在x、y方向的平均误差。5.根据权利要求1所述的一种基于毫米波雷达和视频融合的目标检测方法，其特征在于，所述基于扩展卡尔曼滤波算法进行目标存在性验证，包括：所述匹配目标的状态向量为，其中x、y、vx、vy分别表示目标的纵向坐标、横向坐标、纵向速度和横向速度；使用扩展卡尔曼滤波算法的状态方程和观测方程，其方程为，其中X(k)、X(k‑1)分别表示目标在k、k‑1时刻的状态向量；Z(k)表示目标在k时刻的观测向量；f、h表示状态转移矩阵；V(k)、W(k)表示高斯白噪声；基于k‑1时刻的目标状态，预测出目标在k时刻的状态为，其中(k|k‑1)、(k|k‑1)分别表示状态预测值和预测误差协方差；F为f的雅克比矩阵，根据上述公式可以得到3CN114236528A权利要求书3/3页，其中(k|k‑1)、S(k)、K(