一种多目标跟踪方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114255434A(43)申请公布日2022.03.29(21)申请号202210191392.9G06N3/04(2006.01)(22)申请日2022.03.01G06N3/08(2006.01)G06V10/25(2022.01)(71)申请人深圳金三立视频科技股份有限公司G06V10/44(2022.01)地址518000广东省深圳市龙华区龙华街G06V10/75(2022.01)道清湖社区雪岗北路306号胜立工业G06V10/82(2022.01)园J栋101-5层整栋(72)发明人张宇杨伟强吴庆耀舒欣刘东剑梁浩(74)专利代理机构深圳市博锐专利事务所44275代理人林栋(51)Int.Cl.G06V20/40(2022.01)G06V20/52(2022.01)G06K9/62(2022.01)权利要求书2页说明书9页附图4页(54)发明名称一种多目标跟踪方法及装置(57)摘要本发明公开一种多目标跟踪方法及装置，通过对获取到的待处理图像以第一预设值进行下采样操作，使得特征图具有更大的特征尺寸，同时通过分别第一网络分支头解决特征图的前后景分类任务和目标框坐标回归任务，通过第二网络分支头解决特征图的目标类别分类的任务，采用解耦的思想并结合尺寸更大的特征图，有效的提升了小目标检测的效果；再通过第三网络分支头提取特征图中的特征向量，并将由第一网络分支头和第二网络分支头输出的目标检测结果映射至特征向量特征图，实现对目标坐标特征向量以及轨迹特征向量的获取；最后再通过坐标特征向量与轨迹特征向量进行匹配得到目标检测框和目标轨迹数据，实现对视频中的多目标进行的有效地检测和跟踪。CN114255434ACN114255434A权利要求书1/2页1.一种多目标跟踪方法，其特征在于，包括步骤：获取视频流内每一帧的图像，得到待处理图像；对所述待处理图像依次进行下采样和上采样，得到下采样率为第一预设值的特征图；分别通过第一网络分支头提取所述特征图的目标坐标，通过第二网络分支头对所述特征图中的目标进行分类，得到目标检测框中心坐标；通过第三网络分支头提取所述特征图的特征向量，得到特征向量特征图；将所述目标检测框中心坐标映射至所述特征向量特征图中，得到每一目标检测框对应的特征向量；根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合；将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据。2.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合之后包括：对所述第一目标轨迹集合内的所有目标轨迹进行卡尔曼滤波计算，预测所述目标轨迹在下一帧图像中对应的所述目标检测框的状态；所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据包括：根据所述目标轨迹在下一帧图像中对应的所述目标检测框的状态挑选出与之匹配的所述目标检测框对应的特征向量以及所述目标轨迹的轨迹特征向量；遍历所述待处理图像后，得到匹配成功的所述目标检测框和目标轨迹数据。3.根据权利要求2所述的一种多目标跟踪方法，其特征在于，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据包括：计算所述目标检测框对应的特征向量与所述轨迹特征向量之间的余弦距离矩阵；通过匈牙利算法以及所述余弦距离矩阵对所述目标检测框与所述第一目标轨迹进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据。4.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述将所述目标检测框对应的特征向量与第一目标轨迹集合进行匹配，得到匹配成功的所述目标检测框和目标轨迹数据之后包括：获取匹配失败的所述目标检测框和目标轨迹；对所述匹配失败的所述目标检测框和目标轨迹进行二次匹配。5.根据权利要求4所述的一种多目标跟踪方法，其特征在于，所述对所述匹配失败的所述目标检测框和目标轨迹进行二次匹配包括：计算匹配失败的所述目标检测框和目标轨迹的IOU距离矩阵；通过匈牙利算法以及所述IOU距离矩阵对所述目标检测框与目标轨迹进行二次匹配，得到二次匹配成功的所述目标检测框和目标轨迹数据。6.根据权利要求1所述的一种多目标跟踪方法，其特征在于，设置有第一置信度阈值；所述根据视频流内所有所述待处理图像中的所有所述目标检测框得到第一目标轨迹集合之前还包括：2CN114255434A权利要求书2/2页以第一置信度阈值为筛选标准，筛选出置信度高于所述第一置信度阈值的所述目标检测框以及目标检测框对应的特征向量。7.根据权利要求6所述的一种多目标跟踪方法，其特