一种融合目标重识别的孪生网络结构目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963032A(43)申请公布日2022.01.21(21)申请号202111451845.9G06V10/764(2022.01)(22)申请日2021.12.01G06V10/774(2022.01)(71)申请人浙江工业大学地址310014浙江省杭州市下城区潮王路18号(72)发明人毛姣莉崔滢郑河荣郭东岩朱鹏飞王晓航(74)专利代理机构杭州求是专利事务所有限公司33200代理人忻明年(51)Int.Cl.G06T7/246(2017.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书7页附图2页(54)发明名称一种融合目标重识别的孪生网络结构目标跟踪方法(57)摘要本发明公开了一种融合目标重识别的孪生网络结构目标跟踪方法，训练目标跟踪网络模型，所述目标跟踪网络模型包括分类回归分支和目标重识别分支，所述分类回归分支包括全卷积孪生网络模块和分类回归模块，所述全卷积孪生网络模块的骨干网络与所述目标重识别模块的骨干网络一致。所述全卷积孪生网络模块的骨干网络与所述目标重识别模块的骨干网络共享参数和权重。对于待跟踪的视频序列，将视频序列的第一帧作为模板帧，在所述第一帧中框选跟踪目标，将模板帧与第一帧之后的每一帧分别作为一个图像对输入到训练好的目标跟踪网络模型中，确定跟踪目标在视频帧的所在位置，实现目标跟踪。本发明可以更好的提高区分相似目标干扰的能力。CN113963032ACN113963032A权利要求书1/1页1.一种融合目标重识别的孪生网络结构目标跟踪方法，其特征在于，所述融合目标重识别的孪生网络结构目标跟踪方法，包括：获取通用的视觉目标跟踪数据集并进行预处理，生成训练样本集合；训练目标跟踪网络模型，所述目标跟踪网络模型包括分类回归分支和目标重识别分支，所述分类回归分支包括全卷积孪生网络模块和分类回归模块，所述全卷积孪生网络模块的骨干网络与所述目标重识别模块的骨干网络一致，在训练所述目标跟踪网络模型时，交替训练分类回归分支和目标重识别分支，所述全卷积孪生网络模块的骨干网络与所述目标重识别模块的骨干网络共享参数和权重；对于待跟踪的视频序列，将视频序列的第一帧作为模板帧，在所述第一帧中框选跟踪目标，将模板帧与第一帧之后的每一帧分别作为一个图像对输入到训练好的目标跟踪网络模型中，确定跟踪目标在视频帧的所在位置，实现目标跟踪。2.根据权利要求1所述的融合目标重识别的孪生网络结构目标跟踪方法，其特征在于，所述全卷积孪生网络模块的骨干网络与所述目标重识别模块的骨干网络采用googlenet，并且采用两个3×3的卷积核序列组成的卷积层代替googlenet中单个的5×5的卷积层。3.根据权利要求1所述的融合目标重识别的孪生网络结构目标跟踪方法，其特征在于，所述目标重识别模块的骨干网络之后，还包括Transformer‑Head网络，所述Transformer‑Head网络将骨干网络得到的特征矩阵进行逐像素拉平操作后，对该特征序列的每个位置进行正弦位置编码，然后与相应位置的特征进行相加，进而得到一个新的特征序列作为Transformer‑Head网络的输入序列，然后依次经过编码器网络和解码器网络。4.根据权利要求3所述的融合目标重识别的孪生网络结构目标跟踪方法，其特征在于，所述编码器网络由多个编码层堆叠而成，每个编码层包括多头自注意力模块和全链接前馈网络；所述解码器网络由多个解码层堆叠而成，每个解码层包括多头自注意力模块和全链接前馈网络；所述解码器网络的输入包括编码器网络的输出，以及Transformer‑Head的输入序列经过1×1卷积的线性变换得到的目标查询特征。5.根据权利要求3所述的融合目标重识别的孪生网络结构目标跟踪方法，其特征在于，所述分类回归模块分类分支网络和回归分支网络，所述分类分支网络包括分类分支和中心度分支。6.根据权利要求1所述的融合目标重识别的孪生网络结构目标跟踪方法，其特征在于，所述在训练所述目标跟踪网络模型时，交替训练分类回归分支和目标重识别分支，包括：在训练轮数为M时，每一轮训练都对分类回归分支和目标重识别分支各训练一次。7.根据权利要求1所述的融合目标重识别的孪生网络结构目标跟踪方法，其特征在于，所述在训练所述目标跟踪网络模型时，交替训练分类回归分支和目标重识别分支，包括：在训练轮数为M时，前M1轮冷冻骨干网络的参数，训练分类回归分支和目标重识别分支，后M2轮开放骨干网络，训练分类回归分支和目标重识别分支，所述M1与M2的和等于M。2CN113963032A说明书1/7页一种融合目标重识别的孪生网络结构目标跟踪方法技术领域[0001]本申请属于目标跟踪