基于特征级和决策级融合的双模态目标跟踪算法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920171A(43)申请公布日2022.01.11(21)申请号202111499743.4G06K9/62(2022.01)(22)申请日2021.12.09G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人南京理工大学地址210094江苏省南京市玄武区孝陵卫200号(72)发明人何丰郴柏连发陈霄宇韩静张权魏驰恒张靖远(74)专利代理机构南京苏创专利代理事务所(普通合伙)32273代理人张学彪(51)Int.Cl.G06T7/246(2017.01)G06V10/44(2022.01)G06V10/75(2022.01)G06V10/80(2022.01)权利要求书2页说明书6页附图5页(54)发明名称基于特征级和决策级融合的双模态目标跟踪算法(57)摘要发明涉及一种基于特征级和决策级融合的双模态目标跟踪算法，包括构建SiamDL双级融合注意网络结构；获取模板图像；获取搜索区域图像；提取图像深度特征；对多域的深度特征进行交互；对交互后的特征进行分类约束；对分类结果进行调制；特征融合；调制融合特征；分类回归。本发明通过引入双层融合注意机制，提出了一种双级平衡模块，它可以利用决策级和特征级的信息更合理地平衡两种模式的权重比；引入跨域孪生注意机制，提出一个多域感知模块，能够自适应地更新模板特征，利用模式域和时域丰富的上下文信息，提高网络的特征表示能力，实现了高速运转和优异的跟踪结果，提升了跟踪器应对复杂场景的能力。CN113920171ACN113920171A权利要求书1/2页1.一种基于特征级和决策级融合的双模态目标跟踪算法，其特征在于：包括以下步骤：步骤1：构建SiamDL双级融合注意网络结构：在特征提取网络中引入双层融合注意机制和跨域孪生注意机制，所述双层融合注意机制通过在SiamBAN网络基础上增加双级平衡模块实现，所述双级平衡模块包括两个paddingconv模块和一个双级融合注意平衡模块，所述跨域孪生注意机制通过在SiamBAN网络基础上增加多域感知模块实现，所述多域感知模块包括一个跨域孪生注意模块和两个分类头，所述跨域孪生注意模块由通道注意模块和空间注意模块组成，所述多域包括模态域和时域，所述模态域包括可见光模态分支和红外模态分支，所述时域包括模板分支和图像分支；步骤2：获取模板图像：利用可见光相机和红外相机获取图像序列，对裁剪目标周围方形区域z，作为模板图像，提取模板特征；步骤3：获取搜索区域图像：利用每帧的目标跟踪结果，在当前图像序列的结果周围裁剪方形区域x作为搜索区域图像，x的边长约为z边长的两倍，提取搜索区域特征；对于首帧图像，选取原始模板代替目标跟踪结果；步骤4：提取图像深度特征：把resnet50当作主干提取网络，将第三和第四层网络的输出结果一起送入后续网络参与计算，以获取不同感受野下的特征，记，，，依次为可见光模板，红外模板，可见光搜索图像和红外搜索图像经过特征提取网络得到的特征；步骤5：对多域的深度特征进行交互，将特征提取网络得到的特征输入，利用空间注意模块和通道注意模块对其调制，交互多域的上下文相关信息；将空间注意力调制用描述，通道注意力调制用描述，其中Y代表被调制的对象，X代表调制特征的来源，则有（1），其中，，，依次代表经过特征增强网络后的可见光模板，红外模板，可见光搜索图像和红外搜索图像特征，属于特征级信息；步骤6：对交互后的特征进行分类约束，将送入可见光分类模块，得到可见光分类结果，将送入红外分类模块，得到红外分类结果；步骤7：对分类结果进行调制：通过paddingconv模块对分类结果进行调制，得到可见光关键信息和红外关键信息，属于决策级信息；步骤8：特征融合，通过concat操作将特征级信息和决策级信息进行融合，使和生成，使和生成，使和生成；步骤9：利用决策级信息和特征级信息调制融合特征，权重配比通过注意力机制实现，2CN113920171A权利要求书2/2页将空间注意力调制用描述，通道注意力调制用描述，Y代表被调制的对象，X代表调制特征的来源，则有（2），其中，和代表经过双级平衡网络后的模板特征和搜索图像特征；步骤10：分类回归：参考SiamBAN，对互相关的结果构建分类与回归头，依照分类与回归结果得到当前搜索区域中的目标所在位置与紧致的目标框，所述目标框即为分类结果，下一帧可见光与红外图像输入后，转到步骤3继续执行。2.根据权利要求1所述的基于特征级和决策级融合的双模态目标跟踪算法，其特征在于：所述主干网络的前两层参数设置为在所有域中共享，所有参数在时域中共享。3.根据权利要求1所述的基于特征级和决策级融合的双模态目标跟踪算法，其特征在于：所述特征提取网络包括上采样