一种基于雷视融合的多目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114299417A(43)申请公布日2022.04.08(21)申请号202111499048.8G06V10/774(2022.01)(22)申请日2021.12.09(71)申请人连云港杰瑞电子有限公司地址222061江苏省连云港市海州区圣湖路18号(72)发明人颜耀乜灵梅张宇杰孙浩凯纪彬佟世继章涛涛刘昌杰李元青赵忠刚(74)专利代理机构南京理工大学专利中心32203代理人朱炳斐(51)Int.Cl.G06V20/40(2022.01)G06K9/62(2022.01)G06V10/80(2022.01)权利要求书3页说明书7页附图4页(54)发明名称一种基于雷视融合的多目标跟踪方法(57)摘要本发明公开了一种基于雷视融合的多目标跟踪方法，该方法通过解析雷达信号，获取雷达帧多个目标状态信息；视频监控设备获取的图像输入至卷积模型进行目标识别，得到视频态目标状态信息；利用透视变换雷达信号和目标信号变换至相同坐标系，建立雷达目标与视频目标之间的数据关联，融合雷视信息并存入跟踪器；预测跟踪器内目标下一时刻状态，关联预测目标和观测目标数据信息并进行航迹匹配；利用滤波算法和参数阈值对关联后的信号进行滤波更新，完成多目标跟踪。本发明方法融合了雷达和视频信息，克服了单一信息系统带来的目标不准确性、雷达对静态目标的测不准和大目标多测、单一视频检测易受环境光线干扰等问题，实现了更加全面、准确的目标检测。CN114299417ACN114299417A权利要求书1/3页1.一种基于雷视融合的多目标跟踪方法，其特征在于，所述方法包括以下步骤：步骤1，采集雷达信号并解析，获取雷达检测点状态信息，包括位置、速度；步骤2，采集实时视频流，加载目标检测模型，将获取的视频图像输入检测模型进行推理，得到视频目标的状态信息，包括位置、类别、尺寸；步骤3，利用透视变换将雷达目标映射至视频坐标系，得到雷达跟踪信号在视频帧的位置信息；步骤4，利用同一坐标系下雷达信号目标和视频目标的位置信息关联两种信号，依据关联状态进行雷视信息融合；步骤5，建立目标跟踪器并存入融合目标，预测跟踪器目标下一时刻的位置信息并与观测目标即雷视融合后的目标进行数据关联，实现跟踪目标的航迹匹配，利用滤波算法和参数阈值对匹配信号进行滤波更新，更新跟踪器目标信息，完成多目标跟踪。2.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤1所述采集雷达信号并解析，获取雷达检测点状态信息，包括位置、速度，具体包括：通过去噪、滤波、K‑Means聚类分析解析得到雷达检测的各种目标信息，包括静态目标和动态目标信息，滤除静态目标信息，依据动态目标信息获取目标的位置及速度信息。3.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤2中目标的检测框架为darknet，目标检测模型为利用训练集训练后的yolov3模型，所述数据集来源于不同的交通数据场景并依据检测目标类型进行标定，并在推理过程即模型验证中使用TensorRT加速推理框架加速推理。4.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤3中所述透视变换过程中坐标对中视频目标点的选择为：选择视频检测框的中间靠下1/3位置处作为视频检测点坐标：式中，ximg和yimg为视频检测点坐标，xo和yo为视频检测框左上角点，width和height分别为检测框的宽和高；雷达在视频坐标系的映射计算公式为：式中，M为透视变换矩阵，(X,Y,Z)为雷达点在世界坐标系的坐标，(xr,yr)为在雷达点在雷达坐标系的坐标，xr_v和yr_v为雷达检测点在视频坐标系的坐标，Width和Height为检测图2CN114299417A权利要求书2/3页像的宽和高。5.根据权利要求1所述的基于雷视融合的多目标跟踪方法，其特征在于，步骤4中雷视目标依据透视变换进行位置信息关联,凭借多状态判定实现雷视准确融合，融合过程具体包括：步骤4‑1，输入雷达目标检测点和视频目标检测框，依据透视变换矩阵将雷达目标检测点变换至视频坐标系，计算每个视频检测点与每个雷达目标检测点的距离，构建距离矩阵；步骤4‑2，将距离矩阵作为参数输入匈牙利匹配算法关联雷达目标与视频目标，判定形成关联关系的雷达目标和视频目标为同一目标，雷视关联状态判定为融合态，未关联的雷达目标雷视关联状态判定为单雷达态，未关联的视频目标雷视关联状态判定为单视频态；步骤4‑3，对于单雷达态目标，分配ID，初始化检测目标真假点状态为假点状态，以雷达目标检测点为中心、目标的实际尺寸作为长宽，在雷达坐标系虚拟一个雷达检测框，并将其透视变换到视频坐标系作为单雷达态的初始化检测框；对于单视频态目标，分配ID，初始化检测目标真假点