一种基于无锚的联合检测和嵌入的多目标跟踪方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972805A(43)申请公布日2022.08.30(21)申请号202210496139.4G06V10/82(2022.01)(22)申请日2022.05.07G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人杭州像素元科技有限公司地址310052浙江省杭州市滨江区建业路511号华创大厦13层1308-1309室(72)发明人产思贤吴狄娟申元吴周检(74)专利代理机构北京奥肯律师事务所11881专利代理师王娜(51)Int.Cl.G06V10/62(2022.01)G06V10/25(2022.01)G06V10/24(2022.01)G06V20/40(2022.01)G06V10/44(2022.01)G06V10/774(2022.01)权利要求书3页说明书8页附图2页(54)发明名称一种基于无锚的联合检测和嵌入的多目标跟踪方法(57)摘要本发明公开了一种基于无锚的联合检测和嵌入的多目标跟踪方法，本发明通过引入一个尺度感知的注意力模块，以获得检测和嵌入对不同尺度目标的感知能力。将空间和通道注意力机制应用于不同尺度的特征图，以分别获得不同尺度目标的特定语义信息。然后，对特征图进行反卷积，使各特征图之间的尺度统一，并通过通道注意力将其汇总，得到单一的输出，有效地提高了特征图的尺度感知能力。其次，检测和Re‑ID是两个独立的分支，通过自注意力机制自适应地学习与任务相关的特征。这些任务通过交叉关系权重图进行交互监督，提高了目标检测和重识别任务的协作学习。最后，改进了关联方法，使高置信度和低置信度的检测帧在匹配过程中得到充分的利用。CN114972805ACN114972805A权利要求书1/3页1.一种基于无锚的联合检测和嵌入的多目标跟踪方法，其特征在于，包括以下步骤：(1)、获取采集的视频文件，将其转换成序列图像，并按照时间顺序将帧图像输入轻量级的主干网络CSPNet，得到每一帧图像中的目标多尺度融合特征图；(2)、将步骤(1)生成的目标特征输入基于CenterNet网络的预测器来定位目标，并且构建另一条分支提取目标外貌特征，以此将图像检测模型转换成关联检测和嵌入模型，得到所述多尺度融合特征图对应的目标检测框、所述目标检测框对应的身份ID和目标检测框的定位；(3)、保留每个目标检测框，并根据预设条件将其分为高、低置信度的目标检测框，将关联分为两个阶段的匹配；首先，通过目标检测框的嵌入特征与上一帧的关键目标特征在欧式空间计算相似度得到第一关联矩阵；然后，通过匈牙利算法将当前帧的高置信度的目标检测框与轨迹联系起来；(4)、针对上一步遗留未关联的目标检测框与上一帧的目标之间，再次根据IoU距离计算第二关联矩阵，并通过匈牙利算法将当前帧的高置信度的目标检测框与轨迹联系起来；步骤(3)和步骤(4)为第一阶段，过滤掉由于遮挡、运动模糊或尺度偏移而没有被适当的高置信度的目标检测帧匹配的轨迹；(5)、第二阶段通过IoU距离将上一阶段未被高置信度目标检测框匹配的轨迹与低置信度目标检测框进行关联，以恢复部分低置信度的目标并同时过滤掉背景；(6)、经过两个阶段的匹配，以所确定的关联关系将每一帧图像的关键目标检测框与前一帧图像的关键目标检测框进行对应关联，形成视频流中每一帧图像的各个关键目标检测框的运动轨迹；此外，未匹配的高置信度目标检测框被初始化为当前帧新出现的目标。2.根据权利要求1所述的一种基于无锚的联合检测和嵌入的多目标跟踪方法，其特征在于，所述步骤(1)具体为：方法涉及网络的主干是由轻量级的CSPNet构建的，在这个框架上建立了一阶段模型，即单层多任务结构；主干网络通过FPN自上而下分别提取和尺度的特征图并融合，然后利用空间注意力和通道注意力进行增强；其次，通过反卷积将增强的特征图统一到尺度上，并再次根据通道注意力去除模糊的语义信息；最后，将尺度为的特征图输入一个自监督模块得到两个交叉关联的特征图，一个用于检测，另一个用于嵌入。3.根据权利要求2所述的一种基于无锚的联合检测和嵌入的多目标跟踪方法，其特征在于，所述的步骤(1)通过自监督模块后得到的两个交叉关联特征图，其中一个用于检测，输入CenterNet中，得到三个特征图，分别为：位置特征图边框尺度特征图和中心点偏移特征图另一个用于嵌入，输入嵌入模块，得到4.根据权利要求3所述的一种基于无锚的联合检测和嵌入的多目标跟踪方法，其特征在于，所述的自监督模块的具体过程如下：检测任务和嵌入任务之间的自监督模块的效果是对检测和重识别特征之间的共性和特性进行自适应学习；该学习是通过自注意力机制和通道注意力机制来构建；具体来说，首先，利用自注意力机制，引导不同的任务产生与其任务相关的特征图，然后在训