基于孪生网络的单目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113870312A(43)申请公布日2021.12.31(21)申请号202111165301.6(22)申请日2021.09.30(71)申请人四川大学地址610000四川省成都市一环路南一段24号(72)发明人张轶周雨馨(74)专利代理机构北京天奇智新知识产权代理有限公司11340代理人叶明博(51)Int.Cl.G06T7/246(2017.01)G06N3/04(2006.01)权利要求书3页说明书5页附图3页(54)发明名称基于孪生网络的单目标跟踪方法(57)摘要本发明公开了基于孪生网络的单目标跟踪方法，涉及计算机视觉技术领域，包括S1获取训练样本，S2建立跟踪孪生网络和三个模板增强模块，S3训练样本导入跟踪孪生网络，S4对三个模板增强模块进行优化训练，S5优化后的三个模板增强模块分别加入到跟踪孪生网络的模板分支，S6、将需要跟踪的视频帧导入目标跟踪模型进行跟踪；进行模板更新的方法，在跟踪中可对模板进行加强，模板更能描绘目标的全貌，因此在数据集中极大的提升了效果；其次，在训练的过程中，采用序列训练对模板增强模块进行训练中，不同层的模板的变化信息得到了更好的融合，也就是本发明相较与其他基于ResNet50的算法相比，本发明利用了不同层的层次信息使得模块更能捕捉目标变化的信息。CN113870312ACN113870312A权利要求书1/3页1.基于孪生网络的单目标跟踪方法，其特征在于，包括：S1、获取训练样本；S2、基于resnet‑50网络建立跟踪孪生网络和三个模板增强模块，三个模板增强模板均为权重共享网络，跟踪孪生网络包括模板分支和搜索分支，模板分支和搜索分支为两个完全相同的resnet‑50网络，三个模板增强模块分别用于加强模板分支的第三层、第四层和第五层提取到的特征；S3、训练样本导入跟踪孪生网络获得第三层、第四层和第五层的模板，模板包括初始模板、累计模板和当前帧模板；S4、根据第三层、第四层和第五层的模板对三个模板增强模块进行优化训练；S5、优化后的三个模板增强模块分别加入到模板分支的第三层、第四层和第五层之后获得目标跟踪模型；S6、将需要跟踪的视频帧导入目标跟踪模型进行跟踪。2.根据权利要求1所述的基于孪生网络的单目标跟踪方法，其特征在于，在S3中，对初始模板和上一帧的模板进行线性加权拟合获得累积模板其中φi(z0)代表初始模板，φi(zt‑1)代表上一帧的模板，z是输入图片以目标中心为中心截取的一块区域，φi代表孪生网络中提取特征的网络结构，γ设置为0.0102，训练数据集中的真实值用下一帧的数据来拟合，模板增强模块是一个三输入的残差结构，模板增强模块的公式为其中是跟踪孪生网络生成的用来检测的模板，是t‑1时刻生成的模板，φi(zt)是当前帧的模板也是代表当前跟踪孪生网络的生成步骤，是模块的网络结构。3.根据权利要求2所述的基于孪生网络的单目标跟踪方法，其特征在于，在S4中通过集成训练、并行训练和序列训练中任一种训练方式对三个模板增强模块进行优化训练；并行训练具体包括：第三层、第四层和第五层的模板分别对三个模板增强模块进行训练，计算每个模板增强模块的损失值，并更新每个模板增强模块的权重，计算损失值L为其中是每一层模板训练的输出，GT是跟踪孪生网络所生成的真实值，α是模板增强模块的权重，α的初始值设置为1；集成训练具体包括：第三层、第四层和第五层的模板并行一起对模板增强模块进行训练，计算模板增强模块的损失值，并更新模板增强模块的权重，计算损失值L为序列训练具体包括：第三层的模板对第一个模板增强模块进行训练，计算第一个模板增强模块的损失值，并更新第一个模板增强模块的权重，计算损失值L为其中GT是跟踪孪生网络所生成的真实值，α1是模板增强模块的权2CN113870312A权利要求书2/3页重，α1的初始值设置为1；更新后的第一个模板增强模块作为第二个模板增强模块，第四层的模板对第二个模板增强模块进行训练，计算第二个模板增强模块的损失值，并更新第二个模板增强模块的权重，计算损失值L为GT是跟踪孪生网络所生成的真实值，α2是第二个模板增强模块的权重；更新后的第二个模板增强模块作为第三个模板增强模块，第五层的模板对第三个模板增强模块进行训练，计算第三个模板增强模块的损失值，并更新第三个模板增强模块的权重，计算损失值L为GT是跟踪孪生网络所生成的真实值，α3是第三个模板增强模块的权重。4.根据权利要求1所述的基于孪生网络的单目标跟踪方法，其特征在于，在S6中包括：S61、需要跟踪视频帧进行第i次的目标跟踪时，以第t时刻的帧给定的目标框bi为中心进行裁剪缩放，第t时刻的帧缩放的尺寸为127*127，第t+1时刻帧及其之后帧的缩放尺寸为255*