一种多目标车辆跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113674328A(43)申请公布日2021.11.19(21)申请号202110795714.6(22)申请日2021.07.14(71)申请人南京邮电大学地址210003江苏省南京市鼓楼区新模范马路66号(72)发明人周昕陈志李玲娟岳文静(74)专利代理机构南京经纬专利商标代理有限公司32200代理人叶连生(51)Int.Cl.G06T7/277(2017.01)G06T7/246(2017.01)G06K9/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书7页附图1页(54)发明名称一种多目标车辆跟踪方法(57)摘要本发明提供了一种多目标车辆跟踪方法，首先输入实际拍摄的车辆视频，检测模块使用RFB‑Net网络，使用VOC2007数据集中的车辆数据训练，将检测器输出作为跟踪模型输入；然后获取目标检测框，进行表观特征或运动特征的提取；接着进行相似度计算，根据前后两帧目标之间的匹配程度进行数据关联，为每个对象分配目标的ID；本发明可以较好地解决车辆移动速度快、目标相似度高以及目标相互遮挡导致跟踪失败的问题。CN113674328ACN113674328A权利要求书1/3页1.一种多目标车辆跟踪方法，其特征在于，包括以下步骤：步骤S1、获取公路上的实拍车辆视频，对视频图像进行预处理，包括图像逐帧灰化和大小归一处理；步骤S2、通过RFB‑Net检测器对输入视频帧进行目标车辆检测，获取当前帧目标的检测框位置以及各个检测框图像块的深度特征；过滤置信度小于预设阈值的目标检测框；步骤S3、依据前一帧的目标检测框，使用卡尔曼滤波预测出当前帧的目标位置，得到预测跟踪框，每一帧的预测跟踪框组在一起构成了一组轨迹，保存在轨迹列表中；所述轨迹列表中的轨迹分为不确定态和确定态，轨迹初始化时都标记为不确定态，其中当前帧为第一帧时，预测跟踪框为空；步骤S4、将当前帧的检测框与轨迹列表中的轨迹进行匹配，确定态轨迹与当前帧的检测框进行级联匹配，不确定态轨迹与尚未匹配的目标检测框进行IOU匹配；步骤S5、当轨迹匹配成功的次数大于n_init时，轨迹更新为确定态，并用对应的检测框对轨迹列表中的预测跟踪框进行更新；当轨迹匹配成功的次数不大于n_init时，轨迹更新为删除态，并将其从轨迹列表中删除；当检测框未匹配成功时，初始化为新的轨迹；步骤S6、重复步骤S2‑S5，对后续帧进行处理。2.根据权利要求1所述的一种多目标车辆跟踪方法，其特征在于，所述步骤S2中通过RFB‑Net检测器对输入视频帧进行目标车辆检测具体步骤如下：步骤S2.1、将帧图像输入到RFB‑Net网络中进行特征提取，通过卷积和池化生成6个特征图，对于不同尺度的特征图均使用n×n卷积进行框回归和分类，采用框回归对包含前景的框位置进行修正；采用softmax函数进行分类，依据VOC2007数据集设置分类类别，通过softmax函数给出每个类别对应的概率；步骤S2.2、采用聚类算法选择合适比例的先验框如下：d(box,centroid)＝1‑IoU(box,centroid)IoU＝box∩centroid/box∩centroid其中centroid表示簇标注框的中心点，box表示聚类框的中心点；步骤S2.3、计算框回归损失值如下：其中b和bgt分别表示预测框与真实框的中心点，ρ表示欧式距离，c表示预测框真实框的最小外接矩形的对角线距离。3.根据权利要求2所述的一种多目标车辆跟踪方法，其特征在于，所述步骤S2.1中卷积规格取3*3。4.根据权利要求1所述的一种多目标车辆跟踪方法，其特征在于，所述步骤S3中通过卡尔曼滤波预测出当前帧的目标位置得到预测跟踪框保存在轨迹列表的具体步骤如下：步骤S3.1、预测车辆目标的位置信息及所述位置信息的不确定度；t‑1时刻，车辆目标框的中心坐标(cx,cy)，长宽比r，高h，速度变化值依次为t时刻的均值向量如下：2CN113674328A权利要求书2/3页步骤S3.2、利用t‑1时刻的检测框来预测当前t时刻的跟踪框如下式所示：x′＝Fx其中状态转移矩阵F如下所示，其中dt是当前帧和前一帧之间的差：步骤S3.3、设定t‑1时刻的帧协方差为P，卡尔曼滤波器的噪声矩阵为Q，则t时刻的协方差矩阵如下：P′＝FPFT+Q。5.根据权利要求1所述的一种多目标车辆跟踪方法，其特征在于，所述步骤S4中将当前帧的检测框与轨迹列表中的轨迹进行匹配的具体步骤包括：步骤S4.1、针对确认态轨迹，将它们与当前的检测框进行级联匹配，并且使用匈牙利算法进行匹配指派在级联匹配中，分别进行运动相似度匹配和表观相似度匹配；步骤S4.2、采用马氏距离表示检测框与确定态轨迹的运动匹配程度，具体如下：其中，