一种基于孪生网络的目标跟踪模型去冗余方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115908874A(43)申请公布日2023.04.04(21)申请号202211518891.0G06N3/0464(2023.01)(22)申请日2022.11.29G06N3/09(2023.01)(71)申请人华中光电技术研究所（中国船舶集团有限公司第七一七研究所）地址430000湖北省武汉市洪山区雄楚大街981号(72)发明人张智杰刘松韩根甲石毅(74)专利代理机构武汉凌达知识产权事务所(特殊普通合伙)42221专利代理师刘念涛(51)Int.Cl.G06V10/75(2022.01)G06V10/74(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)权利要求书1页说明书7页附图3页(54)发明名称一种基于孪生网络的目标跟踪模型去冗余方法(57)摘要本发明公开了一种基于孪生网络的目标跟踪模型去冗余方法，先将模板帧和检测帧送入网络进行卷积特征提取生成对应的模板特征图和检测特征图，利用互相关操作分别对分类分支和回归分支进行模板匹配，得到匹配特征图。然后对区域建议网络优化，进行去冗余设计，最后得到响应特征图；本发明方法在未损失该部分网络功能的前提下，简化了网络结构，减少了网络参数，使得目标跟踪网络模型在训练和推断过程都节省了计算和内存开销。CN115908874ACN115908874A权利要求书1/1页1.一种基于孪生网络的目标跟踪模型去冗余方法，其特征在于：包括如下步骤步骤S1，将跟踪目标的视频帧序列中的首帧作为模板帧，后续帧作为检测帧，送入主干网络进行卷积特征提取生成对应的模板特征图z和检测特征图x；将模板特征图z作为区域建议网络中分类分支的输入，通过卷积层对模板特征图z进行映射，同时进行升维将通道数增加到2k，得到输出模板特征图其中k是预选不同长宽比的锚框个数；同时将检测特征图x作为输入，通过卷积层对检测特征图x进行映射，得到输出特征图将模板特征图z作为区域建议网络中回归分支的输入，通过卷积层对模板特征图z进行映射，同时进行升维将通道数增加到4k，得到输出模板特征图其中k是预选不同长宽比的锚框个数；同时将检测特征图x作为输入，通过卷积层对检测特征图x进行映射，得到输出特征图利用互相关操作分别对分类分支和回归分支进行模板匹配：其中★表示相关操作，和分别表示以模板特征图和作为卷积核进行分组卷积操作得到的响应特征图；步骤S2，基于SiamRPN网络，在互相关的卷积运算中添加深度互相关模块，先将区域建议网络中上下并行的两个前端卷积层和一个深度互相关模块作为匹配模块，找到响应特征图两和中相似特征，再通过区域建议网络中的维度映射模块进行1×1卷积维度的特征图映射，分别实现前后景分类以及目标坐标回归；步骤S3，对SiamRPN结构的并行分支去冗余，将区域建议网络中的互相关模块及其前端卷积层记作匹配模块，1×1卷积层记作维度映射模块，将匹配模块以及维度映射模块进行网络结构共用，将孪生网络的模板特征和检测特征输出相关特征图得到共有匹配的信息，然后将特征图分别送入区域建议网络中的分类分支和回归分支进行特征图维度映射；步骤S4，对共用的匹配模块以及维度映射模块精简一半的tiny‑SiamRPN网络结构，完成初始帧特征与后续帧特征的匹配以及维度映射，得到匹配特征图。2.根据权利要求1所述的一种基于孪生网络的目标跟踪模型去冗余方法，其特征在于，所述的步骤S1中分类分支输出的响应特征图有2k个通道，其中目标和背景各占k个，其值代表了相应位置的正负激活值；回归分支输出的特征图具有4k个通道，对应k个候选框回归调整的4个参数：dx，dy，dw，dh，代表了对应锚框与真实框的位移与缩放参数。3.根据权利要求2所述的一种基于孪生网络的目标跟踪模型去冗余方法，其特征在于，所述的步骤S3中的去冗余是用fmod代表的3×3卷积替代fmod1以及fmod2，fdet代表的3×3卷积替代fdet1以及fdet2，fXcorr1以及fXcorr2的模块缩减为fXcorr，使用公用映射模块fc替代fc1以及fc2；在进行网络结构去冗余时，对并行网络分支fmod1和fmod2，fdet1和fdet2，fXcorr1和fXcorr2，fc1和fc2进行合并，使用公用模块实现其匹配和映射功能，使得该部分卷积层数是去冗余之前的一半。2CN115908874A说明书1/7页一种基于孪生网络的目标跟踪模型去冗余方法技术领域[0001]本发明属于目标跟踪技术领域，特别涉及一种基于孪生网络的目标跟踪模型的去冗余方法。背景技术[0002]在目标跟踪领域，速度和精度是算法性能评价的两大核心指标。跟踪方法的应用需要在精度和速度上均衡提升，但是目前已有的跟踪方法大多侧重跟踪精度的提