基于目标移动轨迹预测的深度学习集成的跟踪算法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113744313A(43)申请公布日2021.12.03(21)申请号202111036205.1(22)申请日2021.09.06(71)申请人山东工商学院地址264003山东省烟台市莱山区滨海中路191号(72)发明人安志勇申景伟郝芳静李博谢青松(74)专利代理机构北京中创博腾知识产权代理事务所(普通合伙)11636代理人李艳艳(51)Int.Cl.G06T7/246(2017.01)G06T7/90(2017.01)G06N3/08(2006.01)权利要求书2页说明书5页附图13页(54)发明名称基于目标移动轨迹预测的深度学习集成的跟踪算法(57)摘要基于目标移动轨迹预测的深度学习集成的跟踪算法，首先读取视频帧序列，获取初始帧图像；然后初始化目标跟踪位置，利用检测算法计算跟踪目标的语义信息pre_label；计算出颜色特征平均值模板S；判断是否能够启动检测算法；接下来根据t‑5帧和t‑15帧预测目标物移动方向，筛选出语义为pre_label的k个潜在目标物；最后分别提取K个目标物的三种颜色特征与模板S进行相似度计算，从K个相似度结果中选取最大的相似度数值SDr，若SDr＞tp，将此目标物跟踪框对跟踪结果进行纠偏，直至跟踪结束。本发明有效解决跟踪中由于尺度变换过大、遮挡等情况下造成跟踪漂移等问题，提高了目标跟踪的鲁棒性和准确性。CN113744313ACN113744313A权利要求书1/2页1.基于目标移动轨迹预测的深度学习集成的跟踪算法，其特征在于，将深度学习的目标检测算法与目标跟踪算法进行集成，利用历史预测框信息、目标物移动方向策略、三颜色特征提取策略，在跟踪算法跟踪效果不好时启动检测算法对跟踪框进行重纠偏；包括以下步骤：步骤1：读取视频帧序列，获取初始帧图像；步骤2：将首帧输入到目标检测算法，检测出所有目标的位置和人工标注的跟踪框位置进行IOU计算，获取跟踪目标的语义信息pre_label；步骤3：当t>10，选取t帧之前的十个跟踪评估得分>＝tr的跟踪结果，计算出颜色特征平均值模板S；步骤4：若t>10并且当前跟踪评分小于tr并且pre_label！＝null，执行步骤5，步骤6，否则跳转到步骤7；步骤5：根据t‑5帧和t‑15帧预测目标物移动方向，筛选出语义为pre_label的k个潜在目标物；步骤6：分别提取K个目标物的三种颜色特征与模板S进行相似度计算，从K个相似度结果中选取最大相似度数值SDr，若SDr＞tp，将此目标物跟踪框对跟踪结果进行重纠偏；步骤7：判断当前帧算法是否为图像序列的最后一帧，如果是，结束算法，如果否，返回步骤3，直至循环到最后一帧图像；步骤8：完成目标跟踪。2.根据权利要求1所述的基于目标移动轨迹预测的深度学习集成的跟踪算法，其特征在于，所述步骤2的具体步骤如下：步骤2.1：将首帧输入到目标检测算法，检测算法搜索到M个框，且每个框各有其所属类别，将首帧中人工标注的跟踪框和这M个框分别做交并比计算，选择出最大的IOU数值，若Max(IOU)>th，则将跟踪语义信息pre_label设置为最大的IOU数值所对应跟踪框的类别信息，否则pre_label为null，这里将阈值th设置为0.85。3.根据权利要求1所述的基于目标移动轨迹预测的深度学习集成的跟踪算法，其特征在于，所述步骤3的具体步骤如下：步骤3.1：在帧数t>10时，选取t帧之前的十个跟踪评估得分>＝tr的跟踪结果，计算出颜色特征平均值模板S，留待下次进行重纠偏相似度匹配使用。4.根据权利要求1所述的基于目标移动轨迹预测的深度学习集成的跟踪算法，其特征在于，所述步骤4的具体步骤如下：步骤4.1：当满足条件：(1)帧数t>10、(2)当前跟踪评分小于tr、(3)pre_label不为空时，则执行步骤5，步骤6，启动目标检测算法对预测框进行修正，否则跳转到步骤7，这里将阈值tr设置为0.9。5.根据权利要求1所述的基于目标移动轨迹预测的深度学习集成的跟踪算法，其特征在于，所述步骤5的具体步骤如下：步骤5.1：通过对t‑5帧预测框的中心点位置A(xi,yi)和t‑15帧预测框中心点位置B(xj,yj)进行计算，可得斜率，如公式(1)2CN113744313A权利要求书2/2页进而可得目标的大致移动轨迹在公式(2)这条直线附近，其中α由公式(1)得到；y‑yj＝α·(x‑xi)(2)得到预测轨迹直线后，取出t‑1帧预测框位置扩展为其三倍大小，将其位置定位在检测后的图片上，从中筛选出语义信息为pre_label的目标物，根据每一个目标物的中心点位置(ai,bi)，将其对公式(2)形成的直线做垂线，则垂线越短，代表此目标物与A点形成的夹角越小，代表目标物越贴合目