一种基于困难样本挖掘的孪生网络单目标视觉跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113888595A(43)申请公布日2022.01.04(21)申请号202111152770.4(22)申请日2021.09.29(71)申请人中国海洋大学地址266100山东省青岛市崂山区松岭路238号(72)发明人黄磊高占祺魏志强(74)专利代理机构青岛华慧泽专利代理事务所(普通合伙)37247代理人赵梅(51)Int.Cl.G06T7/246(2017.01)G06K9/62(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于困难样本挖掘的孪生网络单目标视觉跟踪方法(57)摘要本发明公开了一种基于困难样本挖掘的孪生网络单目标跟踪方法，包括构建训练集、构建基于困难样本挖掘的卷积孪生网络等步骤：本发明将困难样本挖掘引入到目标跟踪方法中，在训练过程中挖掘困难负样本作为训练数据，更新网络参数，并且选取困难样本三元组损失来作为损失函数，对其不断优化，通过优化损失，模型在训练过程中不断挖掘困难负样本，使网络充分训练，更好的区分相似目标，使模型学习到具有区分能力的特征，具有较好的目标跟踪效果。CN113888595ACN113888595A权利要求书1/2页1.一种基于困难样本挖掘的孪生网络单目标跟踪方法，其特征在于，包括以下步骤：步骤(1)、构建训练集：根据图像的目标位置和大小，裁剪出图像序列训练集中的所有图像的目标模板图像Z和搜索区域图像X，并且将搜索区域图像X分为正实例图像P和负实例图像N，图片Z和图片P组成一对正样本对，图片Z和图片N组成一对负样本对，以目标模板图像Z、正实例图像P、负实例图像N组成的(Z，P，N)三元组构成训练数据集；步骤(2)、构建基于困难样本挖掘的卷积孪生网络，此网络包含三个分支并且三个分支共享特征提取网络的权重；三个分支分别用于获取目标模板图像的特征图、搜索区域正样本图像的特征图以及负样本图像的特征图，其中在特征提取时，定义困难样本，引入困难样本挖掘来学习具有区分能力的特征；步骤(3)、将步骤(2)得到的目标模板图像特征图和搜索区域图像特征图进行互相关操作，得到响应图，响应图中分值较高的位置则被认定为图像目标物体最相似的位置，将响应图扩大到原图像尺寸，从而确定目标在待搜索图像上所在位置；步骤(4)、基于步骤(1)所述训练集，训练基于困难样本挖掘的孪生网络，得到训练收敛的孪生网络；步骤(5)、利用训练好的孪生网络进行在线目标跟踪。2.根据权利要求1所述的基于困难样本挖掘的孪生网络单目标跟踪方法，其特征在于，步骤(1)的操作包括裁剪目标区域模板图像和裁剪搜索区域图像；其中，目标模板图像的裁剪方法为：目标跟踪中模板图像的目标框是已知的，以被跟踪目标为中心裁剪出一个正方形区域，以目标区域的中心位置代表目标位置，在目标框四边分别扩充q个像素，最后将裁剪的目标图像块尺寸进行缩放；搜索区域图像的裁剪方法为：以目标区域为中心，在目标框四边分别扩充2q个像素，然后将裁剪的搜索区域图像块尺寸进行缩放；其中，q＝(w+h)/4，w为目标框的宽，h为目标框的高。3.根据权利要求1所述的基于困难样本挖掘的孪生网络单目标跟踪方法，其特征在于，步骤(2)中所述孪生网络不同分支的特征提取网络均为调整后的ResNet‑50,输入的图像通过ResNet‑50提取特征。4.根据权利要求1所述的基于困难样本挖掘的孪生网络单目标跟踪方法，其特征在于，所述正样本对为拥有相似视觉特征和高参照对比度的图像对，所述负样本对为拥有相似视觉特征和低参照对比度的图像对；数据集中的困难样本定义为：P＝{(i，j)|Sv(xi，xj)≥α，Sc(yi，yj)≥β}N＝{(m，n)|Sv(xm，xn)≥α，Sc(ym，yn)＜β}其中，Sv表示视觉特征相似度，Sc表示参照对比相似度，α代表视觉特征相似度的阈值，β表示参照对比相似度的阈值；从训练集中挑选图片训练时，对于每张图片，挑出一个最不相似的正样本和一个最相似的负样本组成三元组，计算困难样本三元组损失；困难样本三元组损失定义为：其中，M代表从每一批样本中挑选出的M个目标，N表示每个目标随机挑出N张图片，(z)+代表max(z，0)，z是指maxdA，P‑mindA，N+θ，θ是根据实际需要设定的阈值参数，表示正负样本2CN113888595A权利要求书2/2页相似度的差值边界，dA，P表示模板样本与正样本的相似度，dA，N表示模板样本与负样本的距离；通过Lhard优化损失，模型在训练过程中不断挖掘正样本对和困难负样本，并学习到具有区分能力的特征。5.根据权利要求1或4所述的基于困难样本挖掘的孪生网络单目标跟踪方法，其特征在于，步骤(3)操作如下：在进行特征提取后，对不同层特征进行融合，低层特征有更多的目标位置