一种监控视频的多目标跟踪方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114596340A(43)申请公布日2022.06.07(21)申请号202210220010.0(22)申请日2022.03.08(71)申请人南京航空航天大学地址211106江苏省南京市江宁区将军大道29号(72)发明人丁萌周嘉麒曹云峰魏丽(74)专利代理机构北京方圆嘉禾知识产权代理有限公司11385专利代理师程华(51)Int.Cl.G06T7/277(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书13页附图5页(54)发明名称一种监控视频的多目标跟踪方法及系统(57)摘要本发明提供了一种监控视频的多目标跟踪方法及系统，涉及计算机视觉技术与民航交通运输工程技术领域，获取待跟踪实时监控视频；将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；将待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；根据目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定待跟踪实时监控视频中多个目标的跟踪轨迹；通过对YOLOv4神经网络和DeepSORT神经网络进行改进并训练得到，多目标识别模型和多目标跟踪模型，能够自动确定待跟踪实时监控视频中多个目标的跟踪轨迹，提高了视频监视的智能化水平。CN114596340ACN114596340A权利要求书1/3页1.一种监控视频的多目标跟踪方法，其特征在于，所述方法包括：获取待跟踪实时监控视频；将待跟踪实时监控视频进行分帧处理，得到待跟踪视频帧序列；将所述待跟踪视频帧序列输入到多目标识别模型，得到目标信息组序列；目标信息组序列中任一目标信息组包括同一待跟踪视频帧中所有目标的坐标和种类；所述多目标识别模型是利用历史监控视频对YOLOv4‑TS神经网络进行训练得到的；所述YOLOv4‑TS神经网络是在YOLOv4神经网络中添加空间金字塔池化模块后得到的；根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个目标的跟踪轨迹；所述多目标跟踪模型是利用历史监控视频对DeepSORT神经网络进行训练得到的。2.根据权利要求1所述的监控视频的多目标跟踪方法，其特征在于，在所述获取待跟踪实时监控视频之前，还包括：获取历史监控视频；按照预设时长在所述历史监控视频中提取多张历史监控视频帧作为第一历史监控视频帧序列；对第一历史监控视频帧序列中每张所述历史监控视频帧中的目标信息进行标注，得到标注历史监控视频帧序列；确定标注历史监控视频帧序列的历史目标信息组序列；以所述标注历史监控视频帧序列为输入，以所述历史目标信息组序列为期望输出，对所述YOLOv4‑TS神经网络进行训练，得到所述多目标识别模型。3.根据权利要求2所述的监控视频的多目标跟踪方法，其特征在于，在所述获取待跟踪实时监控视频之前，还包括：对DeepSORT神经网络的卷积层尺寸、残差模块和网络输出尺寸均进行放大处理，得到放大DeepSORT神经网络；对放大DeepSORT神经网络的网络结构进行降维处理，得到改进后的DeepSORT神经网络；对所述历史监控视频进行分帧处理，得到多张历史监控视频帧作为第二历史监控视频帧序列；利用Darklabel标注工具对所述第二历史监控视频帧序列中的相同目标信息进行关联标注，得到多个目标的历史跟踪轨迹；将多个所述历史目标信息组序列为输入，以多个目标的历史跟踪轨迹为期望输出，对改进后的DeepSORT神经网络进行训练，得到所述多目标跟踪模型。4.根据权利要求1所述的监控视频的多目标跟踪方法，其特征在于，在获取待跟踪实时监控视频之前，还包括：获取与所述待跟踪实时监控视频的监控场景相同的历史监控视频为预训练视频；利用所述预训练视频对所述多目标跟踪模型进行训练，获得监控场景中多条初始跟踪轨迹。5.根据权利要求4所述的监控视频的多目标跟踪方法，其特征在于，所述根据所述目标信息组序列，利用Kalman滤波算法和多目标跟踪模型确定所述待跟踪实时监控视频中多个2CN114596340A权利要求书2/3页目标的跟踪轨迹具体包括：令迭代次数m等于1；确定所述初始跟踪轨迹为第0次迭代时的跟踪轨迹；利用匈牙利算法和级联算法对目标信息组序列中第m个的目标信息组中的多个目标与第m‑1次迭代时的多条跟踪轨迹进行匹配，得到第一目标‑跟踪轨迹匹配组和第一未匹配目标组；利用IoU匹配算法对第一未匹配目标组中的多个目标与第m‑1次迭代时的多条跟踪轨迹进行匹配，得到第二目标‑跟踪轨迹匹配组；将第一目标‑跟踪轨迹匹配组和第二目标‑跟踪轨迹匹配组合并为总匹配组；根据总匹配组中目标的坐标更新对应的跟踪轨迹，得到第m次迭代时的多条跟踪轨迹；利用Kalman滤波算法对第m次迭代时的多条跟踪轨迹进行实时仿