一种基于离线聚类的无监督对比学习的多目标跟踪方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114973167A(43)申请公布日2022.08.30(21)申请号202210894529.7G06V10/74(2022.01)(22)申请日2022.07.28G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人松立控股集团股份有限公司地址266000山东省青岛市市南区宁夏路288号软件园6号楼11层(72)发明人王永刘寒松王国强翟贵乾刘瑞焦安健(74)专利代理机构青岛高晓专利事务所(普通合伙)37104专利代理师黄晓敏(51)Int.Cl.G06V20/54(2022.01)G06V10/82(2022.01)G06V10/762(2022.01)G06V10/40(2022.01)权利要求书3页说明书7页附图3页(54)发明名称一种基于离线聚类的无监督对比学习的多目标跟踪方法(57)摘要本发明属于目标跟踪技术领域，涉及一种基于离线聚类的无监督对比学习的多目标跟踪方法，以离线聚类的方式进行将不同帧的同一目标聚类到一起然后计算损失学习出一个能进行关联，并且是在无监督的方式下进行的，不需要标签的信息，对于那些没有标注的数据集进行训练，有效的挖掘没有标注的数据中有用的信息，自主地进行发现和体验，寻找模式和联系并得出结论，不需要人为指导，减少了资源的浪费。CN114973167ACN114973167A权利要求书1/3页1.一种基于离线聚类的无监督对比学习的多目标跟踪方法，其特征在于，具体步骤如下：（1）、离线过程训练一个特征提取网络，先将所有帧输入到检测器，检测出所有帧中的所有车辆后输入到特征提取网络，获得所有车辆的特征向量；（2）、对检测出的所有车辆使用密度聚类DBSCAN算法进行聚类，将不同帧的同一车辆聚类到同一类中，并计算损失，再更新特征提取网络，经过多轮聚类，学习出一个能提取出特征物体判别性特征的特征提取网络；（3）、将步骤（2）学习好的特征提取网络用于在线跟踪，先将跟踪视频的视频帧送入主干网络中，获得当前帧的特征图，再将特征图送入到检测器中检测出当前帧中的所有车辆；（4）、将上一帧的特征图与当前帧的特征图进行点积计算，获得两帧之间的相似度图，根据相似度图，然后求出上一帧的一个点（k,l）在当前帧所在的位置分别在水平和垂直方向的位置的概率；（5）、根据步骤（4）得到的两帧每点出现在当前帧水平方向位置和垂直方向的概率，求出当前帧根据上一帧的位移量，然后将位移量和上一帧的特征图作为可行变卷积网络的输入，获得上一帧增强的特征图，通过上一帧增强的特征图增强当前帧的特征图；（6）、根据步骤（2）检测出的所有车辆，得到其检测框后将其在步骤（5）经过增强的特征图上切割下来送入到步骤（2）学习好的特征提取网络中，得到每辆车的特征向量，并且将第一帧的所有车辆特征向量初始化模板特征池中的每一个类中心的特征向量；（7）、将当前帧与之前的轨迹进行关联，即与模板特征池中的类中心特征向量计算相似度，根据相似度进行关联，并且根据关联的结果对模板特征池中的类中心特征向量使用动量更新的方式进行更新；（8）、经过30帧的跟踪关联后，对于模板特征池长时间未进行更新的类中心特征向量删除，并特征提取网络进行更新，以便其更适合当前的跟踪任务，实现多目标跟踪。2.根据权利要求1所述基于离线聚类的无监督对比学习的多目标跟踪方法，其特征在于，所述步骤（1）具体包括如下步骤：（11）、将所有的视频帧输入到检测器CenterNet中，然后检测出当前帧的中心点热度图和检测出的每辆车的尺寸，以及每个物体的中心点的偏移量，其中H和W分别为视频帧的高度和宽度；（12）、然后根据步骤（11）中获得的中心点热度图和尺寸以及偏移量获得每辆车的位置以及对应的检测框；（13）、根据步骤（12）获得的每辆车所在的检测框，然后将其切割下来输入到特征提取网络中获得每辆车的特征向量。3.根据权利要求2所述基于离线聚类的无监督对比学习的多目标跟踪方法，其特征在于，所述步骤（2）具体包括如下步骤：步骤（21）、对步骤（13）获得的所有车辆的特征向量使用密度聚类算法DBSCAN，将不同帧的同一车辆聚类到同一个类中，并赋予同样的id；2CN114973167A权利要求书2/3页步骤（22）、根据步骤（21）聚类的结果，同一类的车辆视为正样本，不同类的车辆视为负样本然后计算损失函数值，从而拉大不同类即不同车辆之间的距离，缩小不同帧的同一车辆之间的距离；步骤（23）、根据步骤（21）将所有车辆聚类后的结果对特征池中的类中心特征进行更新，先将同一类中的所有车辆特征向量进行求和再求平均值，然后再使用动量更新的方式更新特征池中该类中心的特征向量，并且根据步骤（22）计算的损失函数值反向传播，更新特征提取网络；步骤（2