一种实时多目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113850839A(43)申请公布日2021.12.28(21)申请号202010594911.7(22)申请日2020.06.28(71)申请人中国电子科技网络信息安全有限公司地址610207四川省成都市双流区西南航空港经济开发区工业集中区内(72)发明人吴杰(74)专利代理机构成都九鼎天元知识产权代理有限公司51214代理人管高峰(51)Int.Cl.G06T7/246(2017.01)权利要求书2页说明书5页附图2页(54)发明名称一种实时多目标跟踪方法(57)摘要本发明涉及多目标跟踪技术领域，公开了实时多目标跟踪方法，本方法首先使用目标检测模型检测出初始帧的物体，记录下此时每个物体的位置信息并存储通过深度学习模型提取的每一个检测的物体的特征。初始帧的每一个物体成为潜在的跟踪器。通过抽帧形式，得到后续帧，依次进行目标检测，记录位置信息和存储物体的特征。数据关联，计算物体与已有跟踪器的特征距离和IOU距离，融合两者度量方式，得到特征距离矩阵。再使用匈牙利算法进行匹配，将潜在状态跟踪器更新为显式状态跟踪器，将显式的跟踪器在视频中进行显示。本方法具有硬件资源占用低，速度快，跟踪效果好等优点，在遮挡、大小、姿态以及光照等环境条件的影响下也具有较好的鲁棒性。CN113850839ACN113850839A权利要求书1/2页1.一种实时多目标跟踪方法，其特征在于，包括：步骤1：检测视频中初始帧中的物体，记录每个物体的位置信息并提取每个检测的物体的特征，将初始帧的每个物体作为潜在状态的跟踪器；步骤2:对视频中的后续帧进行检测，记录后续帧中每个物体的位置信息并存储每个物体的特征；步骤3：依次提取后续帧进行数据关联，计算当前后续帧中的物体与已存在跟踪器的每一种组合的特征距离和IOU距离，再融合特征距离和IOU距离两种度量方式，修改特征距离，生成特征距离矩阵；步骤4：以修改后的特征距离矩阵作为最终的度量代价矩阵，利用匈牙利算法进行匹配，若当前后续帧中的物体与已存在的跟踪器匹配成功，则更新跟踪器的位置信息，并存储物体特征，若未匹配成功，则将当前后续帧中的物体初始化为新的潜在状态跟踪器；步骤5：检查匹配成功的次数，若匹配成功的次数大于等于设定的阈值，则将该潜在状态的跟踪器标记为显式状态并继续保持该状态；若匹配成功的次数小于设定的阈值，则继续保持该跟踪器的潜在状态；步骤6：返回状态为显式的跟踪器的位置信息及相应的物体特征；步骤7：在视频中显示跟踪结果。2.根据权利要求1所述的一种实时多目标跟踪方法，其特征在于，所述步骤2具体过程包括：步骤21：通过抽帧的形式，得到后续帧；步骤22：对后续帧进行检测，记录后续帧中的每个物体的位置信息，并存储每个物体的特征。3.根据权利要求1或2所述的一种实时多目标跟踪方法，其特征在于，所述步骤3具体过程包括：步骤31：计算当前后续帧中的物体与已存在的跟踪器的每一种组合的特征距离和IOU距离；步骤32：融合两种度量方式，在IOU距离大于某一设定阈值，同时当前后续帧中的物体与已存在跟踪器的位置重合度高于某一设定阈值时，进行“奖励机制”，所述特征距离随着重合度变高而减少；在IOU距离小于某一设定阈值，同时当前后续帧中的物体与潜在状态跟踪器的位置重合度低于某一设定阈值甚至无重合时，进行“惩罚”机制，所述特征距离随着重合度降低而增大；步骤33：根据修改后的特征距离，生成特征距离矩阵。4.根据权利要求3所述的一种实时多目标跟踪方法，其特征在于，所述步骤31中，若当前后续帧为第三帧至最后一帧中的任意一帧，则该帧中检测出的物体与跟踪器的特征距离取物体与跟踪器多个距离的最小值。5.根据权利要求1所述的一种实时多目标跟踪方法，其特征在于，所述步骤4中，在存储物体特征时，如果已经存储的物体特征数量低于设定的阈值，则添加存储；如果高于设定的阈值，衡量待存储的物体特征与已存储的物体特征的相似性，如果相似度高于某一设定的阈值，则将这些物体特征加权平均为一个特征，删除已存储的相似度高的特征，添加加权平均后的特征。2CN113850839A权利要求书2/2页6.根据权利要求1所述的一种实时多目标跟踪方法，其特征在于，所述步骤4中，若一个跟踪器连续多次未匹配成功，则删除该跟踪器。3CN113850839A说明书1/5页一种实时多目标跟踪方法技术领域[0001]本发明涉及多目标跟踪技术领域，尤其涉及一种采用深度学习和数据关联的实时多目标跟踪方法。背景技术[0002]多目标跟踪，即MultipleObjectTracking(MOT)，也称为MultipleTargetTracking(MTT)。其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中的运动物体