基于特征金字塔的孪生网络红外目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110544269A(43)申请公布日2019.12.06(21)申请号201910720012.4(22)申请日2019.08.06(71)申请人西安电子科技大学地址710065陕西省西安市雁塔区太白南路2号(72)发明人周慧鑫刘国均周腾飞宋江鲁奇李欢于跃张嘉嘉杜娟吴娜娜成宽洪秦翰林王炳健(74)专利代理机构西安志帆知识产权代理事务所(普通合伙)61258代理人侯峰韩素兰(51)Int.Cl.G06T7/246(2017.01)权利要求书3页说明书8页附图3页(54)发明名称基于特征金字塔的孪生网络红外目标跟踪方法(57)摘要本发明公开了一种基于特征金字塔的孪生网络红外目标跟踪方法，分别对模板帧和检测帧进行自底向上的全卷积操作，接着分别对卷积层C5、C4、C3和C2进行自顶向上操作和横向连接，分别对应生成P2、P3、P4和P5尺度特征层；根据所述模板帧每一层尺度特征层的分类权重与回归权重分别对所述检测帧的对应尺度特征层进行卷积运算分别确定所述检测帧每层尺度特征层对应的尺度提议；对所述检测帧的所有尺度特征层对应的尺度提议进行非极大值抑制，保留最高的尺度提议，将该最高的尺度提议对应的尺度特征层作为输出跟踪结果。本发明对目标形变具有更好的判别能力，更加适应复杂场景及目标形变。CN110544269ACN110544269A权利要求书1/3页1.一种基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，该方法为：将原始红外图像序列的当前帧作为基于特征金字塔的孪生网络中检测分支的检测帧，将上一帧作为基于特征金字塔的孪生网络中模板分支的模板帧；分别对模板帧和检测帧进行自底向上的全卷积操作，接着分别对卷积层C5、C4、C3和C2进行自顶向上操作和横向连接，分别对应生成P2、P3、P4和P5尺度特征层；对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重；根据所述模板帧每一层尺度特征层的分类权重与回归权重分别对所述检测帧的对应尺度特征层进行卷积运算分别确定所述检测帧每层尺度特征层对应的尺度提议；对所述检测帧的所有尺度特征层对应的尺度提议进行非极大值抑制，保留最高的尺度提议，将该最高的尺度提议对应的尺度特征层作为输出跟踪结果。2.根据权利要求1所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述将原始红外图像序列的当前帧作为基于特征金字塔的孪生网络中检测分支的检测帧，将上一帧作为基于特征金字塔的孪生网络中模板分支的模板帧，具体为：所述将原始红外图像序列的当前帧作为特征提取子网络中检测分支的检测帧，将上一帧作为特征提取子网络中模板分支的模板帧。3.根据权利要求1或2所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述分别对模板帧和检测帧进行自底向上的全卷积操作，接着分别对卷积层C5、C4、C3和C2进行自顶向上操作和横向连接，分别对应生成P2、P3、P4和P5尺度特征层，具体为：特征提取子网络的各个分支的网络采用三条路线的方式，分别是自底向上、自顶向下和横向连接，自底向上采用与区域选取网络相同的五层网络，逐层进行尺度缩小；自顶向下路线采用反卷积进行上采样；横向连接是将上采样的结果和自底向上生成的相同大小的特征图进行融合，生成P2至P5的特征图谱，与自底向上的C2至C5的特征图谱一一对应；采用融合了各层特征的P2、P3、P4、P5层进行目标预测。4.根据权利要求3所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重，具体为：将区域选取子网络分成两个分支，一个用于目标-背景的分类分支，另一个用于目标区域的回归分支；假设区域选取子网络设置k′个锚点，需要输出2k′个通道进行分类，4k′个通道进行回归。5.根据权利要求4所述的基于特征金字塔的孪生网络红外目标跟踪方法，其特征在于，所述对所述模板帧的P2、P3、P4和P5尺度特征层分别进行2k′和4k′的通道扩展，分别生成分类权重与回归权重，具体通过以下步骤实现：(1)将模板φp(z)增加到两个分支[φp(z)]cls和[φp(z)]reg，分别通过两个卷积层扩展到2k′和4k′倍的通道数量；(2)检测帧φp(x)也被两个卷积层分成两个分支[φp(x)]cls和[φp(x)]reg，但通道数量保持不变；(3)在分类分支和回归分支上[φp(z)]与[φp(x)]分别通过卷积运算相关性，即2CN110544269A权利要求书2/3页其中，[φp(z)]cls，[φp(z)]reg，[φp(x)]cls，[φp(x)]reg，分别为模板帧的分