基于对比学习的无监督视觉目标跟踪方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114266988A(43)申请公布日2022.04.01(21)申请号202010969893.6(22)申请日2020.09.16(71)申请人上海大学地址200444上海市宝山区上大路99号(72)发明人朱佳君马超徐树公(74)专利代理机构上海交达专利事务所31201代理人王毓理王锡麟(51)Int.Cl.G06V20/40(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图1页(54)发明名称基于对比学习的无监督视觉目标跟踪方法及系统(57)摘要一种基于对比学习的无监督视觉目标跟踪方法及系统，包括：训练阶段和测试阶段，训练阶段包括：生成训练数据、构建视觉跟踪模型、设计组合损失函数以及训练模型，在测试阶段将测试的跟踪视频序列输入到训练后的视觉跟踪模型中，即对于每个待测帧，按上一帧预测得到的跟踪框作为中心进行裁剪得到输入图像，结合上一帧以及上一帧的搜索响应，得到待测帧的搜索响应，响应中最大值的位置表示跟踪目标所在位置，并结合所对应的尺度得到最终预测的跟踪框，从而完成该帧中目标的跟踪。本发明不仅能让模型进行无监督训练，还能让模型学到不同数据增强下搜索响应的一致性，从而学到更加鲁棒的无监督表征并显著提高跟踪性能。CN114266988ACN114266988A权利要求书1/2页1.一种基于对比学习的无监督视觉目标跟踪方法，其特征在于，包括：训练阶段和测试阶段，训练阶段包括：生成训练数据、构建视觉跟踪模型、设计组合损失函数以及训练模型，在测试阶段将测试的跟踪视频序列输入到训练后的视觉跟踪模型中，即对于每个待测帧，按上一帧预测得到的跟踪框作为中心进行裁剪得到输入图像，结合上一帧以及上一帧的搜索响应，得到待测帧的搜索响应，响应中最大值的位置表示跟踪目标所在位置，并结合所对应的尺度得到最终预测的跟踪框，从而完成该帧中目标的跟踪。2.根据权利要求1所述的无监督视觉目标跟踪方法，其特征是，所述的训练数据，通过对于训练集中的一个连续的视频序列，采用随机采样的方式来选择两个帧作为一组训练数据，然后对所有采样得到的训练数据都进行中心裁剪。3.根据权利要求1所述的无监督视觉目标跟踪方法，其特征是，所述的视觉跟踪模型包括前向跟踪模块和后向跟踪模块，其中：前向跟踪模块采用孪生网络框架，具体包括：模板分支和搜索分支；后向跟踪模块采用孪生网络框架，具体包括：两个模板分支和一个搜索分支，两个模板分支对模板进行的数据增强操作不同，从而构建成一个对比框架；所述的孪生网络模型中所有模板分支和搜索分支均共享特征提取模块，该共享特征提取模块包括：两个卷积层，一个激活函数层和一个局部响应归一化层。4.根据权利要求3所述的无监督视觉目标跟踪方法，其特征是，所述的后向跟踪模块中的第一模板分支的输入为模板帧，并经过特征提取模块提取特征；第二模板分支的输入为模板帧经过对比度改变得到的结果，并经过特征提取模块提取特征；搜索分支的输入为搜索帧，并经过特征提取模块提取特征；从而构建成一个对比框架。5.根据权利要求3所述的无监督视觉目标跟踪方法，其特征是，所述的特征提取模块的输出端进一步设有一个用来结合模板特征和搜索特征得到最终的搜索响应的相关滤波器。6.根据权利要求1所述的无监督视觉目标跟踪方法，其特征是，所述的组合损失函数，通过三个子损失函数加权得到最终的增强对比一致性的组合损失函数，其中：第一个子损失函数是计算原始的模板分支与搜索分支前后向跟踪模块得到的搜索响应与中心初始化的高斯响应的均方误差；第二个子损失函数是计算含有数据增强操作的模板分支与搜索分支前后向跟踪模块得到的搜索响应与中心初始化的高斯响应的均方误差；第三个子损失函数是计算原始的模板分支与搜索分支前后向跟踪模块得到的搜索响应与含有数据增强操作的模板分支与搜索分支前后向跟踪模块得到的搜索响应的均方误差。7.根据权利要求1所述的无监督视觉目标跟踪方法，其特征是，所述的训练，利用组合损失函数进行模型的无监督训练：对于每次迭代过程，将训练数据分别标定为模板帧和搜索帧作为视觉跟踪模型的输入，具体包括：①前向跟踪模块通过特征提取模板得到模板特征和搜索特征，再结合中心初始化的高斯响应，将这三者输入到相关滤波器模块中，得到搜索帧的搜索响应；②后向跟踪模块将模板帧和搜索帧的位置对调，并通过特征提取模板得到此时的模板特征和搜索特征，再结合前向跟踪模块中输出的响应，将这三者输入到相关滤波器模块中，得到此时的搜索帧的响应，即一开始标定的模板帧的搜索响应；③同时，在后向跟踪模块中，对对调后的模板分支