一种基于深度光流的目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113888604A(43)申请公布日2022.01.04(21)申请号202111138039.6(22)申请日2021.09.27(71)申请人安徽清新互联信息科技有限公司地址230088安徽省合肥市高新区创新大道2800号创新产业园二期J1区A座17-18楼(72)发明人张卡何佳尼秀明(74)专利代理机构合肥天明专利事务所(普通合伙)34115代理人闫客(51)Int.Cl.G06T7/269(2017.01)G06T7/246(2017.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于深度光流的目标跟踪方法(57)摘要本发明公开了一种基于深度光流的目标跟踪方法，属于目标跟踪技术领域，包括S31、选择初始跟踪图像作为前一帧图像；S32、将前一帧图像和当前帧图像组成运动图像对输入深度神经网络模型，预测当前帧图像中所有目标的位置及相应的运动光流场；S33、根据当前帧图像中所有目标的位置及相应的运动光流场，对前一帧图像中待跟踪目标位置进行更新，得到更新后的帧图像；S34、将更新后的帧图像作为前一帧图像，并重复执行步骤S32～S33，实现目标的持续跟踪。本发明在不增加计算代价下，实现端到端的目标检测跟踪。CN113888604ACN113888604A权利要求书1/2页1.一种基于深度光流的目标跟踪方法，其特征在于，包括：S31、选择初始跟踪图像作为前一帧图像；S32、将前一帧图像和当前帧图像组成运动图像对输入深度神经网络模型，预测当前帧图像中所有目标的位置及相应的运动光流场；S33、根据当前帧图像中所有目标的位置及相应的运动光流场，对前一帧图像中待跟踪目标位置进行更新，得到更新后的帧图像；S34、将更新后的帧图像作为前一帧图像，并重复执行步骤S32～S33，实现目标的持续跟踪。2.如权利要求1所述的基于深度光流的目标跟踪方法，其特征在于，所述深度神经网络模型包括特征提取模块、检测模块和光流模块；特征提取模块用于获取所述运动图像对的高层特征图；检测模块用于根据高层特征图，预测所述当前帧图像中是否存在目标以及所有目标的位置；光流模块用于基于高层特征图，预测所述运动图像对的运动光流场。3.如权利要求2所述的基于深度光流的目标跟踪方法，其特征在于，所述特征提取模块包括拼接层concat、主干网络backbone、特征金字塔网络FPN和输出特征层out_feature1、out_feature2，所述运动图像对作为拼接层concat的输入，拼接层concat将所述运动图像对按照通道维度进行拼接并输出拼接图，拼接层concat输出经主干网络backbone与特征金字塔网络FPN连接，特征金字塔网络FPN输出融合有不同尺度特征的特征图，并经输出特征层out_feature1、out_feature2输出。4.如权利要求3所述的基于深度光流的目标跟踪方法，其特征在于，所述检测模块包括卷积层dconv1_0、dconv2_0、dconv1_1、dconv2_1及目标信息解析层yolo，所述输出特征层out_feature1和所述输出特征层out_feature2的输出分别连接卷积层dconv1_0、dconv2_0，卷积层dconv1_0、dconv2_0分别经卷积层dconv1_1、dconv2_1连接目标信息解析层yolo，目标信息解析层yolo用于提取有效的目标位置信息。5.如权利要求3所述的基于深度光流的目标跟踪方法，其特征在于，所述光流检测模块输出为运动图像对的前向光流场和后向光流场，所述光流检测模块包括拼接层concat1、上采样层upsample0、upsample1、upsample2和卷积层lconv0、lconv1、lconv2、lconv3；所述输出特征层out_feature1、out_feature2分别与拼接层concat1、上采样层upsample0连接，上采样层upsample0与拼接层concat1连接，拼接层concat1、上采样层upsample1、卷积层lconv1、上采样层upsample2、卷积层lconv2、卷积层lconv3依次连接。6.如权利要求1所述的基于深度光流的目标跟踪方法，其特征在于，所述根据当前帧图像中所有目标的位置及相应的运动光流场，对前一帧图像中待跟踪目标位置进行更新，得到更新后的帧图像，包括：根据所述前一帧图像中待跟踪目标的位置和所述运动光流场，获取待跟踪目标在所述当前帧图像中的粗略位置；根据待跟踪目标在所述当前帧图像的粗略位置和所述当前帧图像中所有目标的位置进行关联匹配，获取待跟踪目标在所述当前帧图像中的精确位置；根据待