无监督视觉目标跟踪方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114266928A(43)申请公布日2022.04.01(21)申请号202010971115.0(22)申请日2020.09.16(71)申请人上海大学地址200444上海市宝山区上大路99号(72)发明人朱佳君马超徐树公(74)专利代理机构上海交达专利事务所31201代理人王毓理王锡麟(51)Int.Cl.G06V10/774(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图1页(54)发明名称无监督视觉目标跟踪方法及系统(57)摘要一种无监督视觉目标跟踪方法，通过组间跳跃间隔和组内跳跃间隔的方式进行数据采样，将得到的每一个视频帧以及视频帧集合作为孪生网络架构模型的训练样本进行包括逐帧的前向跟踪过程以及逐帧的后向跟踪过程的训练，再将用于测试的跟踪视频序列输入训练后的视觉跟踪模型得到最终预测的跟踪框，从而完成该帧中目标的跟踪。本发明具有很好的无监督训练能力，能学习帧间丰富的运动信息，提高训练效率和模型鲁棒性，并通过逐帧的前后向跟踪训练方式进行无监督训练。CN114266928ACN114266928A权利要求书1/2页1.一种无监督视觉目标跟踪方法，其特征在于，通过组间跳跃间隔和组内跳跃间隔的方式进行数据采样，将得到的每一个视频帧以及视频帧集合作为孪生网络架构模型的训练样本进行包括逐帧的前向跟踪过程以及逐帧的后向跟踪过程的训练，将用于测试的跟踪视频序列输入训练后的孪生网络架构模型，得到最终预测的跟踪框，从而完成该帧中目标的跟踪。2.根据权利要求1所述的方法，其特征是，所述的数据采样，对于单一的训练迭代，使用跳帧采样模块以组间跳跃间隔和组内跳跃间隔的方式选择一组视频帧作为输入，其中组内跳跃间隔用于降低训练数据相关性，并保持有价值的时间运动信息；组间跳跃间隔用于保证充分利用训练数据，减少重复帧和缺失帧。3.根据权利要求1或2所述的方法，其特征是，所述的组内跳跃间隔为2，组间跳跃间隔为5。4.根据权利要求1所述的方法，其特征是，所述的训练样本，对采样所得的数据经预处理得到，具体为：对经过跳帧采样后的每一个视频帧进行中心裁剪，目标尺寸为视频帧的1/6，经过填充操作，最终裁剪尺寸为视频帧的1/2，并将将裁剪后得到的图像块缩放至125x125尺寸大小，得到各组视频帧集合。5.根据权利要求1所述的方法，其特征是，所述的孪生网络架构模型包括模板分支和搜索分支，两个分支共享特征提取模块，该特征提取模块包括：两个卷积层，一个激活函数层和一个局部响应归一化层。6.根据权利要求1所述的方法，其特征是，所述的逐帧的前向跟踪过程具体包括：第一步，将视频帧集合的第一帧作为模板区域、将第二帧作为搜索区域，分别输入到共享的特征提取模块中以提取出模板特征和搜索特征；再将模板特征、搜索特征以及中心初始化的高斯响应输入到相关滤波器模块中得到第二帧的搜索响应；第二步，将视频帧集合的第二帧作为模板区域、将第三帧作为搜索区域，分别输入到共享的特征提取模块中以提取出模板特征和搜索特征；再将模板特征、搜索特征以及第一步得到的输出响应输入到相关滤波器模块中得到第三帧的搜索响应；第三步，重复第一步和第二步直至得到第五帧的搜索响应。7.根据权利要求1所述的方法，其特征是，所述的逐帧的后向跟踪过程具体包括：第一步，将视频帧集合的第五帧作为模板区域、将第四帧作为搜索区域，分别输入到共享的特征提取模块中以提取出模板特征和搜索特征；再将模板特征、搜索特征以及逐帧的前向跟踪过程的最后一步得到的响应输入到相关滤波器模块中得到第四帧的搜索响应；第二步，将视频帧集合的第四帧作为模板区域、将第三帧作为搜索区域，分别输入到共享的特征提取模块中以提取出模板特征和搜索特征；再将模板特征、搜索特征以及第一步得到的输出响应输入到相关滤波器模块中得到第三帧的搜索响应；第三步，重复第一步和第二步直至得到第一帧的搜索响应。8.根据权利要求1或6或7所述的方法，其特征是，所述的训练，采用的损失函数为计算中心初始化的高斯响应和逐帧的后向跟踪过程最后一步得到的搜索响应的均方误差，训练时卷积核和权重采用随机参数初始化，偏置采用全0初始化。9.根据权利要求1或6或7所述的方法，其特征是，所述的训练，采用随机梯度下降算法进行模型参数的更新，当模型迭代次数达到预设的迭代次数时，停止训练并保存训练好的2CN114266928A权利要求书2/2页模型。10.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：跳帧采样模块、特征提取模块、相关滤波器模块，其中：跳帧采样模块与特征提取模块相连并传输训练数据信息；特征提取