基于多尺度可形变注意力的红外图像目标跟踪系统及方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115239765A(43)申请公布日2022.10.25(21)申请号202210921013.7G06V10/82(2022.01)(22)申请日2022.08.02G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人合肥工业大学地址230000安徽省合肥市包河区屯溪路193号(72)发明人李小红周喜齐美彬庄硕郝世杰刘学亮(74)专利代理机构南京苏高专利商标事务所(普通合伙)32204专利代理师常虹(51)Int.Cl.G06T7/246(2017.01)G06V10/40(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)权利要求书5页说明书14页附图2页(54)发明名称基于多尺度可形变注意力的红外图像目标跟踪系统及方法(57)摘要本发明公开了一种基于多尺度可形变注意力的红外图像目标跟踪系统及方法。其中跟踪系统包括搜索图分支、模板图分支、特征融合模块和预测模块；其中搜索图分支用于提取搜索图在第一尺度和第二尺度下的特征拼接得到的搜索图多尺度特征Fs；模板分支用于提取模板图在第三尺度和第四尺度下的特征拼接得到的模板图多尺度特征Ft；特征融合模块用于根据搜索图多尺度特征Fs和模板图多尺度特征Ft计算融合特征Gst；预测模块用于根据融合特征Gst预测搜索图中的目标边框。该系统融合了低层和高层的特征，有利于红外图像中目标的跟踪。CN115239765ACN115239765A权利要求书1/5页1.一种基于多尺度可形变注意力的红外图像目标跟踪系统，其特征在于，包括：搜索图分支(1)、模板图分支(2)、特征融合模块(3)和预测模块(4)；所述搜索图分支(1)包括第一特征提取模块(101)、第一转换拼接模块(102)；所述模板图分支(2)包括第二特征提取模块(201)、第二转换拼接模块(202)；所述第一特征提取模块(101)用于提取搜索图在第一尺度和第二尺度下的初始特征图和第一转换拼接模块(102)对和进行通道统一和维度调整，得到搜索图在第一尺度和第二尺度下的特征fs1和fs2，并拼接为搜索图多尺度特征Fs＝[fs1,fs2]；所述第二特征提取模块(201)用于提取模板图在第三尺度和第四尺度下的初始特征图和第二转换拼接模块(202)对和进行通道统一和维度调整，得到模板图在第三尺度和第四尺度下的特征ft1和ft2，并拼接为模板图多尺度特征Ft＝[ft1,ft2]；所述特征融合模块(3)用于根据搜索图多尺度特征Fs和模板图多尺度特征Ft计算融合特征Gst；所述预测模块(4)用于根据融合特征Gst预测搜索图中的目标边框；所述搜索图为搜索分支(1)的输入，所述模板图为模板分支(2)的输入。2.根据权利要求1所述的基于多尺度可形变注意力的红外图像目标跟踪系统，其特征在于，所述第一特征提取模块(101)和第二特征提取模块(201)的结构相同，结构为依次级联的第一卷积模块、第一池化模块、第二卷积模块、三卷积模块、第四卷积模块、第五卷积模块；第一特征提取模块(101)中的第四卷积模块输出搜索图在第一尺度下的初始特征图第五卷积模块输出搜索图在第二尺度下的初始特征图第二特征提取模块(201)中的第四卷积模块输出模板图在第三尺度下的初始特征图第五卷积模块输出模板图在第四尺度下的初始特征图3.根据权利要求1所述的基于多尺度可形变注意力的红外图像目标跟踪系统，其特征在于，所述特征融合模块(3)包括N个级联的特征融合子模块，其中第一级特征融合子模块的输入为搜索图多尺度特征Fs和模板图多尺度特征Ft，输出为第一级搜索图对模板图的注意力特征和第一级模板图对搜索图的注意力特征第N级特征融合子模块的输入为第N‑1级输出的和第N级特征融合子模块的输出为特征融合模块得到的融合特征Gst；第n级特征融合子模块包括第一可形变自注意力模块(301)、第二可形变自注意力模块(302)和交叉注意力模块(303)，n＝1,2,…,N；所述第一可形变自注意力模块(301)和第二可形变自注意力模块(302)分别用于计算两路输入特征Is和It的上下文关系特征和Ts和Tt；所述交叉注意力模块(303)用于计算两路输入向量的上下文关系特征Ts和Tt对彼此的注意力特征和所述第一可形变自注意力模块(301)提取输入特征Is的上下文关系特征Ts的步骤为：a1、将输入特征Is与搜索图多尺度位置编码SLPs相加生成第一查询向量Qs，Qs＝[Qs1,Qs2]，Qs1为第一尺度下的查询向量，Qs2为第二尺度下的查询向量；a2、将第一查询向量Qs、输入特征Is、搜索图初始参考点Rs输入到第一多头注意力网络，2CN115239765A权利要求书2/5页得到搜索图第一多头可形变注意力