多目标跟踪方法、多目标跟踪装置以及非易失性存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108875465A(43)申请公布日2018.11.23(21)申请号201710383882.8(22)申请日2017.05.26(71)申请人北京旷视科技有限公司地址100080北京市海淀区科学院南路2号A座313室申请人北京迈格威科技有限公司(72)发明人俞刚何奇正(74)专利代理机构北京市柳沈律师事务所11105代理人彭久云夏贝贝(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/62(2006.01)权利要求书4页说明书9页附图2页(54)发明名称多目标跟踪方法、多目标跟踪装置以及非易失性存储介质(57)摘要一种多目标跟踪方法、装置以及非易失性存储介质，所述方法包括：获取视频流中的多个图像帧；对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。本发明提出使用单目标跟踪来解决多目标跟踪的问题。通过对高置信度的检测进行单目标的跟踪，可以有效果弥补目标检测过程中的假负例,提高多目标跟踪的效果。CN108875465ACN108875465A权利要求书1/4页1.一种多目标跟踪方法，所述方法包括：获取视频流中的多个图像帧；对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹；将多个目标对应的单个目标的目标跟踪轨迹进行图像融合，以得到多个目标的目标跟踪轨迹。2.根据权利要求1所述的跟踪方法，其中，所述单个目标包括第一目标，所述对于所述多个图像帧中的多个目标中的每个，分别作为单个目标进行单个目标检测，以得到单个目标的目标跟踪轨迹的步骤包括：判断所述多个图像帧中的至少一个图像帧中是否可能存在所述第一目标；响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹。3.根据权利要求2所述的跟踪方法，其中，所述判断所述多个图像帧中的至少一个图像帧中是否可能存在第一目标包括：对所述多个图像帧中的至少一个图像帧进行所述第一目标的检测；根据检测结果确定所述至少一个图像帧中存在所述第一目标的可能值；将可能值大于第一预设阈值的图像帧确定为可能存在所述第一目标的图像帧；所述响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹的步骤包括：根据所述可能值从高到低进行排序；根据所述排序结果，从高到低分别对每一可能存在所述第一目标的图像帧进行目标跟踪。4.根据权利要求2所述的跟踪方法，所述响应于所述至少一个图像帧中可能存在所述第一目标，在所述多个图像帧中对所述第一目标进行目标跟踪，以得到该第一目标在所述多个图像帧中的目标跟踪轨迹的步骤包括：当至少一个图像帧中可能存在所述第一目标时，将该图像帧作为当前帧；确定第一目标在当前帧中的检测区域，该检测区域为所述第一目标在该图像帧中的可能位置；根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域，该采样区域为所述第一目标在该前后帧中的可能位置；判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标。5.根据权利要求4所述的跟踪方法，所述判断前后帧中预测的第一目标的采样区域中的目标是否是第一目标的步骤包括：对当前帧中的第一目标检测区域，进行第一特征提取；对前后帧中预测的第一目标的采样区域进行第二特征提取，第一特征与第二特征相同或类似；对所述第一特征和第二特征进行特征融合；根据特征融合结果来判断所述前后帧中第一目标采样区域中的目标是否是所述第一2CN108875465A权利要求书2/4页目标。6.根据权利要求4所述的跟踪方法，所述根据当前帧中的第一目标的检测区域，预测当前帧的前面至少一帧和/或后面至少一帧中第一目标的采样区域的步骤包括：提取所述当前帧中第一目标的检测区域的第一特征向量；在所述前后帧图像平面上撒粒子；每个所述粒子计算该粒子所在位置处的图像的特征，得到第二特征向量；计算第二特征向量与第一特征向量之间的第一相似度值；根据该第一相似度值来预测在前后帧中第一目标的采样区域的位置。7.根据权利要求6所述的跟踪方法，其中，在所述前后帧中，当预测得到多个第一目标的采样区域时，确定所述多个采样区域中相似度值最高的位置；将相似度值最高的位置作为第一目标的采样区域。8.根据权利要求7所述的跟踪方法，其中，判断所述相似度值最高的位置的相似度值是否小于第二预设阈值；当所述相似度值最高的位置的相似度值小于