一种基于双分支孪生网络结构的视觉目标跟踪方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030095A(43)申请公布日2023.04.28(21)申请号202310049832.1(22)申请日2023.02.01(71)申请人西南石油大学地址610500四川省成都市新都区新都大道8号(72)发明人周文俊王楠王一帆彭博贺宇航(51)Int.Cl.G06T7/246(2017.01)G06N3/0464(2023.01)G06N3/084(2023.01)权利要求书3页说明书6页附图3页(54)发明名称一种基于双分支孪生网络结构的视觉目标跟踪方法(57)摘要本发明涉及一种基于双分支孪生网络结构的视觉目标跟踪方法，属于图形图像处理领域；它解决了目前目标跟踪方法中遮挡、形变、模糊运动以及相似物干扰等常见的问题；其技术方案是：向双分支孪生网络结构同时输入模板帧和搜索帧图像，然后将经过双分支孪生网络结构的模板帧和搜索帧图像进行互相关操作，得到一张响应图，取出响应图中值最大的点即为待跟踪目标的中心位置；本发明具有以下有益效果：通过双分支网络结构中的浅层分支能精确捕捉目标位置信息；深层分支通过提取目标抽象的语义信息，能很好的应对跟踪过程中目标出现的遮挡、尺度变化等问题；将经过两个分支的结果进行自适应融合，能够达到很好的综合效果。CN116030095ACN116030095A权利要求书1/3页1.一种基于双分支孪生网络结构的视觉目标跟踪方法，其特征在于，所述方法包括以下步骤：S100、训练阶段，获取原始模板图像z和原始搜索图像x；对所述原始模板图像和原始搜索图像进行预处理，得到模板图像z_sz和搜索图像x_sz，并将所述模板图像z_sz和搜索图像x_sz作为训练数据并构建训练数据集；训练时，所有图像的BoundingBox均已知；S200、将所述模板图像z_sz和搜索图像x_sz输入到双分支孪生网络结构进行特征提取，具体为：将所述模板图像z_sz通过浅层分支进行特征提取，得到浅层分支提取出的模板图像特征图；将所述模板图像z_sz通过深层分支进行特征提取，得到深层分支提取出的模板图像特征图；将所述搜索图像x_sz通过浅层分支进行特征提取，得到浅层分支提取出的搜索图像特征图；将所述搜索图像x_sz通过深层分支进行特征提取，得到深层分支提取出的搜索图像特征图；所述双分支孪生网络结构由一个深层分支和一个浅层分支构成，所述浅层分支用于定位目标的位置信息；所述浅层分支由一个AlexNet网络构成，同时使用多尺度特征融合模块进一步精确定位目标的位置信息；所述深层分支能够提取到目标的行为特征、运动轨迹特征等语义信息；所述深层分支由一个去掉全连接层的VGG网络构成；在该VGG网络中，在涉及填充操作的卷积层后嵌入一个边缘裁剪单元，同时在通道数发生变化的卷积层后嵌入ECA模块，学习通道特征；在所述深层分支提取模板图像的一侧，加入双重注意力模块；S300、将分别经过深浅两个分支得到的特征图进行互相关操作，即经过所述浅层分支的模板图像z_sz和搜索图像x_sz的特征图进行互相关操作，经过所述深层分支的模板图像z_sz和搜索图像x_sz的特征图进行互相关操作，得到对应的两个分支响应图；得到分支响应图的表达公式为：；总响应图的计算公式为：；其中代表S200的特征提取操作，f(z,x)为最终的响应图，fi(z,x)为分支响应图，z和x分别代表模板图像和搜索图像，i=1,2分别代表浅层和深层分支，m和n代表权重系数，在训练过程中通过不断学习自适应的调整比重，b为偏置；S400、通过分数矩阵进行训练，通过损失函数计算的损失不断优化模型；S500、跟踪阶段，准备两路输入图像，已知第一帧模板图像的BoundingBox，后续搜索图像的BoundingBox未知；按照要求构建出模板图像和搜索图像；S600、将模板图像和第二帧搜索图像输入到双分支孪生网络结构中，分别得到对应的四种特征图；S700、分别将经过浅层分支提取到的模板图像和搜索图像的特征图进行互相关，将深层分支提取到的模板图像和搜索图像的特征图进行互相关，得到两个分支响应图；得到分支响应图的表达公式为：；其中代表S200的特征提取操作，fi(z,x)为分支响应图，z和x分别代表模板图像和2CN116030095A权利要求书2/3页搜索图像，b代表偏置，i=1,2分别代表浅层和深层分支；S800、将分支响应图通过训练阶段学习到的最优权重比进行融合，得到最终响应图；融合公式为：；f(z,x)为最终的响应图，m和n代表权重系数，范围为(0,1)，b为偏置；S900、针对搜索图像，为了应对跟踪过程中的尺度变化，将在三种尺度上对搜索图像进行处理，三种尺度分别为1.0375{[‑2,‑0.5,1]}，因此最终会生成这三种尺度的响应图；S1000、使用双