基于注意力机制的复杂场景下目标跟踪方法、存储介质及设备.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115018878A(43)申请公布日2022.09.06(21)申请号202210422800.7G06K9/62(2022.01)(22)申请日2022.04.21G06V10/44(2022.01)G06V10/74(2022.01)(71)申请人哈尔滨工业大学G06V10/82(2022.01)地址150001黑龙江省哈尔滨市南岗区西大直街92号申请人中国航天科工集团八五一一研究所(72)发明人杨柱天朱伟强王钰杨蔚杨佳敏陈迪(74)专利代理机构哈尔滨华夏松花江知识产权代理有限公司23213专利代理师时起磊(51)Int.Cl.G06T7/246(2017.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书7页附图6页(54)发明名称基于注意力机制的复杂场景下目标跟踪方法、存储介质及设备(57)摘要基于注意力机制的复杂场景下目标跟踪方法、存储介质及设备，属于计算机视觉处理技术领域。本发明针对需要进行目标跟踪的图像序列，先初始化第一帧，处理出所要追踪的目标图像，将目标图像作为模板图像输入相似度度量网络，接着将后续帧作为搜索图像不断输入，用相似度度量网络计算后续帧和第一帧中目标图像相似度最高的位置，再计算两者的位置差进行目标框的更新，相似度度量网络先对模板图像和搜索图像进行特征提取，然后分别输入各自对应的CBAM模块，之后进行相似度度量，得到置信图；进而实现追踪。主要用于复杂场景下的目标跟踪。CN115018878ACN115018878A权利要求书1/2页1.基于注意力机制的复杂场景下目标跟踪方法，其特征在于，包括以下步骤：针对需要进行目标跟踪的图像序列，先初始化第一帧，处理出所要追踪的目标图像，将目标图像作为模板图像输入相似度度量网络，接着将后续帧作为搜索图像不断输入，用相似度度量网络计算后续帧和第一帧中目标图像相似度最高的位置，再计算两者的位置差进行目标框的更新，实现追踪；所述的相似度度量网络通过以下步骤得到：步骤1、输入模板图像和搜索图像；步骤2、将模板图像和搜索图像分别通过特征提取网络进行特征提取，分别生成模板图像和搜索图像对应的特征图；输入模板图像的特征提取网络和输入搜索图像的特征提取网络为孪生网络；步骤3、将上一步提取的特征图分别输入各自对应的CBAM模块，即卷积注意力机制模块；步骤4、进行相似度度量，得到置信图；步骤5、根据步骤1‑4相似度度量方式训练神经网络，将训练好的神经网络作为相似度度量网络。2.根据权利要求1所述的基于注意力机制的复杂场景下目标跟踪方法，其特征在于，步骤2所述的特征提取网络为CNN网络。3.根据权利要求2所述的基于注意力机制的复杂场景下目标跟踪方法，其特征在于，所述的CNN网络采用SiamFC算法中的特征提取网络。4.根据权利要求3所述的基于注意力机制的复杂场景下目标跟踪方法，其特征在于，所述神经网络的训练过程包括以下步骤：在输入的模板图像上，和目标的距离不超过R认为是正样本，否则是负样本；正负样本所构成的目标的标签向量图：其中，k为网络的总步长；c为目标的中心；u表示置信图的所有位置；R则表示阈值半径；将m中的0全部替换为‑1，并将处理后的新标签集称为y；在对模型进行训练时，使用判别方法来对正、负样本对进行训练，逻辑损失如下：l(y,v)＝log(1+e‑yv)(3)其中，y表示真值；v表示模板图像和搜索图像间的实际得分；模型训练时损失函数计算采用所有候选位置的平均loss来表示：其中，D表示最后得到的响应图，u表示响应图中的所有位置；基于所有候选位置的平均loss实现神经网络模型的训练，得到训练好的神经网络模型，即相似度度量网络。5.根据权利要求4所述的基于注意力机制的复杂场景下目标跟踪方法，其特征在于，基于所有候选位置的平均loss实现神经网络模型的训练的过程中，利用随机梯度下降来最小2CN115018878A权利要求书2/2页化得到卷积参数θ，EL(·)表示L(·)的期望。6.根据权利要求5所述的基于注意力机制的复杂场景下目标跟踪方法，其特征在于，所述的阈值半径R值取2。7.根据权利要求1至6之一所述的基于注意力机制的复杂场景下目标跟踪方法，其特征在于，所述的CBAM模块先对输入的特征图进行通道上的加权，再对经过通道注意力模型后的特征图进行空间上的加权。8.根据权利要求7所述的基于注意力机制的复杂场景下目标跟踪方法，其特征在于，步骤4所述的进行相似度度量的过程为对经过CBAM提取的特征进行交叉卷积处理。9.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至8之一所述的基于注意力机制的复杂场景下目标跟踪方法。1