一种基于从粗到精遮挡处理的多目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113763427A(43)申请公布日2021.12.07(21)申请号202111035065.6(22)申请日2021.09.05(71)申请人东南大学地址210096江苏省南京市玄武区四牌楼2号(72)发明人路小波张帅帅(74)专利代理机构南京众联专利代理有限公司32206代理人周蔚然(51)Int.Cl.G06T7/246(2017.01)G06K9/00(2006.01)G06K9/62(2006.01)权利要求书1页说明书4页附图3页(54)发明名称一种基于从粗到精遮挡处理的多目标跟踪方法(57)摘要本发明公开了一种基于从粗到精遮挡处理的多目标跟踪方法，模型构建包括以下步骤：首先在JDE模型预测头的基础上加了一个遮挡分数预测，从而完成对非遮挡目标的完全处理以及对遮挡目标的粗处理；在这个基础上，将映射剪裁后的遮挡行人区域作为第二步模型的训练集进行训练，完成对于遮挡行人的精确检测和表观特征向量提取；从而实现对遮挡目标的精处理；综合两步模型输出的结果，利用数据关联算法完成行人的跟踪。本发明解决了现有技术中不能准确地对有遮挡情况场景下的行人跟踪问题，能够很好地适应多种时段、多种行人密度的公共环境；对行人的跟踪具有较好效果。CN113763427ACN113763427A权利要求书1/1页1.一种基于从粗到精遮挡处理的多目标跟踪方法，其特征在于，该方法包括以下步骤：步骤一、对从公共场所获得的数据集进行标注，构建行人跟踪的训练集和测试集；步骤二、利用训练集标注的部分信息，对多目标跟踪方法的第一步模型进行训练；实现对非遮挡行人目标的检测和相应表观特征向量的提取以及遮挡行人区域的定位；从而完成对非遮挡目标的完全处理以及对遮挡目标的粗处理；步骤三、在上述模型训练完成的基础上，将映射剪裁后的遮挡行人区域作为第二步模型的训练集进行训练，完成对于遮挡行人的精确检测和表观特征向量提取；从而实现对遮挡目标的精处理；步骤四、综合两步模型输出的结果，利用数据关联算法完成行人的跟踪。2.根据权利要求1所述的一种基于从粗到精遮挡处理的多目标跟踪方法，其特征在于：所述步骤一中，行人跟踪数据集是在若干公共场所摄像头所拍摄的监控视频上进行构建的，标注内容包括行人边界框id，行人id，边界框位置，边界框内行人是否存在遮挡，行人目标包含在哪个边界框中，这些信息组成了训练集和测试集中的真值标签。3.根据权利要求1所述的一种基于从粗到精遮挡处理的多目标跟踪方法，其特征在于：所述步骤二中，所述方法的第一步模型定义了两种边界框回归，一种是单个行人无遮挡情况的边界框回归，另一种是两个行人存在遮挡情况下的边界框回归；在JDE模型的基础上，第一步模型在预测头中添加了遮挡分数预测，使得其能判别所回归的边界框中的行人是否存在遮挡；若不存在遮挡，可同时提取行人的位置和表观特征向量，若存在遮挡，则定位遮挡区域，完成遮挡行人的粗处理。4.根据权利要求1所述的一种基于从粗到精遮挡处理的多目标跟踪方法，其特征在于：所述步骤三中，将所述步骤二中定位到的遮挡区域映射到第一步模型的小尺度特征图中并采用ROIAlign算法进行剪裁作为第二步模型的输入，第二步模型对遮挡区域特征图进行精处理，获得遮挡行人的位置及表观特征向量，其中，在对遮挡行人边界框进行训练时，损失函数采用SmoothL1损失与RepGT，RepBox损失加权相结合的方式，边界框损失函数计算如下所示：其中，表示SmoothL1损失函数，LRepGT表示RepGT损失函数，LRepBox表示RepBox损失函数，α，β表示加权参数。5.根据权利要求1所述的一种基于从粗到精遮挡处理的多目标跟踪方法，其特征在于：所述步骤四中，综合所述步骤一和所述步骤二中的结果，得到当前帧中所有行人目标的位置和表观特征向量，利用相邻帧之间同一个行人目标表观特征向量相似以及位置变动不大的特点来完成行人目标的匹配，最终完成任务。2CN113763427A说明书1/4页一种基于从粗到精遮挡处理的多目标跟踪方法技术领域[0001]本发明属于计算机视觉和监控视频分析领域，具体涉及一种基于从粗到精遮挡处理的多目标跟踪方法。背景技术[0002]多目标跟踪是监控视频分析的重要组成部分。它不仅可以直接用于物体运动轨迹分析，而且可以作为物体动作识别、行为分析等高级任务的研究基础。[0003]为了完成多目标跟踪任务，许多主流的深度学习算法都提出了基于检测进行跟踪的策略。这些方法将多目标跟踪分为检测模块和嵌入模块。检测模块完成目标检测，嵌入模块使用相关算法提取目标的特征，然而，这两个模块之间可能会出现多次重复计算，影响运行速度。为此，一些科学家提出了将检测模块和嵌入模块集成到一个神经网络的方法，这两个模