一种基于孪生网络的跟踪模型的特征匹配方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115861373A(43)申请公布日2023.03.28(21)申请号202211518864.3G06V10/766(2022.01)(22)申请日2022.11.29G06N3/0464(2023.01)G06N3/045(2023.01)(71)申请人武汉华中天经通视科技有限公司地址430223湖北省武汉市江夏区庙山开发区江夏大道特1号(72)发明人刘松范强舒朗谭海(74)专利代理机构武汉凌达知识产权事务所(特殊普通合伙)42221专利代理师刘念涛(51)Int.Cl.G06T7/246(2017.01)G06V10/44(2022.01)G06V10/82(2022.01)G06V10/75(2022.01)G06V10/764(2022.01)权利要求书2页说明书9页附图5页(54)发明名称一种基于孪生网络的跟踪模型的特征匹配方法(57)摘要本发明公开了一种基于孪生网络的跟踪模型的特征匹配方法，先将模板帧和检测帧送入网络进行卷积特征提取生成对应的模板特征图和检测特征图，得到匹配特征图，然后对区域建议网络优化，通过增加卷积层数量和通道数以及引入分组卷积来增强匹配，对模板特征图和检测特征图进行特征匹配，得到的匹配特征图进行必要分类和回归分支的维度映射，最终输出两分支的响应图；本发明方法具有一定的适应性与可扩展性，可应用于基于孪生网络结构的跟踪算法网络模型，在不牺牲其速度性能情况下增强其跟踪精度。CN115861373ACN115861373A权利要求书1/2页1.一种基于孪生网络的跟踪模型的特征匹配方法，其特征在于：包括如下步骤步骤S1，将跟踪目标的视频帧序列中的首帧作为模板帧，后续帧作为检测帧，送入网络进行卷积特征提取生成用于分类分支和回归分支的权重，生成对应的模板特征图z和检测特征图x；将模板特征图z作为区域建议网络中分类分支的输入，通过卷积层对模板特征图z进行映射，同时进行升维将通道数增加到2k，得到输出模板特征图其中k是预选不同长宽比的锚框个数；同时将检测特征图x作为输入，通过卷积层对检测特征图x进行映射，得到输出特征图将模板特征图z作为区域建议网络中回归分支的输入，通过卷积层对模板特征图z进行映射，同时进行升维将通道数增加到4k，得到输出模板特征图其中k是预选不同长宽比的锚框个数；同时将检测特征图x作为输入，通过卷积层对检测特征图x进行映射，得到输出特征图利用互相关操作分别对分类分支和回归分支进行模板匹配：其中★表示相关操作，和分别表示以模板特征图和作为卷积核进行分组卷积操作得到的响应特征图；步骤S2，基于SiamRPN网络，在互相关的卷积运算中添加深度互相关模块，先将区域建议网络中上下并行的两个前端卷积层和一个深度互相关模块作为匹配模块，找到响应特征图两和中相似特征，再通过区域建议网络中的维度映射模块进行1×1卷积维度的特征图映射，分别实现前后景分类以及目标坐标回归；步骤S3，将区域建议网络中的互相关模块及其前端卷积层记作匹配模块，1×1卷积层记作维度映射模块，基于基线算法通过由上下并行的两个卷积层和一个深度互相关模块对输入的模板帧特征和检测帧特征进行匹配，找到两特征图中相似特征，同时通过1×1的维度映射网络对匹配计算后的特征图进行维度映射，通过增加卷积层数量以及通道数来增强匹配；步骤S4，匹配增强后得到包含主干网络和区域建议网络的ME‑SiamRPN，其中区域建议网络包含增强匹配模块和维度映射模块，将增强匹配模块接在主干网络之后，对模板特征图和检测特征图进行特征匹配，得到的匹配特征图输入区域建议网络，进行必要分类和回归分支的维度映射。2.根据权利要求1所述的一种基于孪生网络的跟踪模型的特征匹配方法，其特征在于，所述的步骤S1中分类分支输出的响应特征图有2k个通道，其中目标和背景各占k个，其值代表了相应位置的正负激活值；回归分支输出的特征图具有4k个通道，对应k个候选框回归调整的4个参数：dx，dy，dw，dh，代表了对应锚框与真实框的位移与缩放参数。3.根据权利要求2所述的一种基于孪生网络的跟踪模型的特征匹配方法，其特征在于，所述步骤S3中的增强流程为：将Xmod_in和Xdet_in分别作为主干网络输入的模板图和检测图，2CN115861373A权利要求书2/2页由公式Xmod＝fbone(Xmod_in)和Xdet＝fbone(Xdet_in)进行孪生主干网络fbone提取，得到模板特征图Xmod和检测特征图Xdet，然后通过公式M＝fXcorr(fmod(Xmod)，fdet(Xdet))利用匹配模块fXcorr将模板特征图与检测特征图进行匹配得到匹配特征图M，进而映射模块fc对特征图进行映射，并复制分别进行不同维度的映射，通过公式Ac