一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998999A(43)申请公布日2022.09.02(21)申请号202210856428.0G06V10/774(2022.01)(22)申请日2022.07.21G06V10/82(2022.01)G06N3/04(2006.01)(71)申请人之江实验室G06N3/08(2006.01)地址311100浙江省杭州市余杭区中泰街道之江实验室南湖总部申请人浙江工商大学(72)发明人张文广徐晓刚虞舒敏曹卫强(74)专利代理机构杭州浙科专利事务所(普通合伙)33213专利代理师孙孟辉(51)Int.Cl.G06V40/20(2022.01)G06V20/52(2022.01)G06V10/22(2022.01)G06V10/75(2022.01)权利要求书3页说明书7页附图3页(54)发明名称一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置(57)摘要本发明公开一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置，方法包括：步骤S1：获取行人视频数据集并进行行人坐标以及行人轨迹的标注，并生成片段型轨迹数据；步骤S2：构造并训练基于多帧输入与轨迹平滑的行人多目标跟踪网络模型；步骤S3：基于训练得到的行人多目标跟踪网络模型进行推理，获取当前帧行人目标检测与特征提取结果以及其前几帧的行人目标检测与特征提取结果，即获取得到多帧图像目标的坐标及外观特征；步骤S4：利用多帧图像目标的坐标及外观特征进行最短特征距离匹配，并利用轨迹曲率平滑函数进行轨迹平滑，最终得到当前帧的轨迹。本发明具有耗时低，且对同类目标的遮挡问题鲁棒性较好的优点。CN114998999ACN114998999A权利要求书1/3页1.一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，包括以下步骤：步骤S1：获取行人视频数据集并进行行人坐标以及行人轨迹的标注，并生成片段型轨迹数据；步骤S2：构造并训练基于多帧输入与轨迹平滑的行人多目标跟踪网络模型；步骤S3：基于训练得到的行人多目标跟踪网络模型进行推理，获取当前帧行人目标检测与特征提取结果以及其前几帧的行人目标检测与特征提取结果，即获取得到多帧图像目标的坐标及外观特征；步骤S4：利用多帧图像目标的坐标及外观特征进行最短特征距离匹配，并利用轨迹曲率平滑函数进行轨迹平滑，最终得到当前帧的轨迹。2.如权利要求1所述的一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，所述步骤S1，具体为：对获取的开源行人视频，利用标注软件对行人视频序列帧中的行人进行标注，包括标注目标框以及目标的身份识别ID号，ID号从1开始累加；然后对行人视频以固定的长度进行切割捆绑生成轨迹片段，轨迹片段由2m+1个图像序列帧组成，即该轨迹片段的数据由从某时刻图像帧之前m个图像帧至之后m个图像帧组成，m为正整数。3.如权利要求1所述的一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，所述行人多目标跟踪网络模型由Yolov5‑L主网络与多尺度特征提取模块组合而成，所述多尺度特征提取模块与Yolov5‑L主网络的目标检测头并行排列且输入相同，所述多尺度特征提取模块由一个3*3*256卷积层和一个1*1*256*3的卷积层组成；输入图像经过Yolov5‑L主网络后再经过多尺度特征提取模块输出一张与输入图像尺寸一样的外观特征图，再基于目标检测头检测得到的目标框所属的预设边框，在外观特征图中截取得到目标框对应的外观特征。4.如权利要求1所述的一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，所述行人多目标跟踪网络模型的训练是采用所述片段型轨迹数据进行训练，将片段型轨迹数据的图像序列帧同时送入行人多目标跟踪网络模型进行推理，计算得到目标的坐标即目标框，以及外观特征，并基于所述目标的坐标与外观特征采用最短特征距离与轨迹曲率平滑函数进行匹配，同时利用总的损失函数求梯度进行行人多目标跟踪网络模型的后向推理。5.如权利要求4所述的一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，所述总的损失函数是联合轨迹特征距离与拟合的损失函数与轨迹检测的平均L1损失函数加权平均的损失函数，表示联合轨迹特征距离与拟合的损失函数，表示轨迹片段目标检测的平均L1损失函数。6.如权利要求5所述的一种基于多帧输入与轨迹平滑的多目标跟踪方法，其特征在于，所述联合轨迹特征距离与拟合的损失函数由轨迹特征距离损失函数与轨迹曲率平滑损失函数加权平均得到，对行人多目标跟踪网络模型的特征提取与轨迹匹配进行训练学习；所述轨迹特征距离损失函数表示为：2CN114998999A权利要求书2/3页；其中，，i∈[1，2m+1]，表示第i个图像帧中的目标框与第i个图像帧真实标签目标框的特征距离，采用特征向量夹角的余弦函数表示，2m+1为轨