一种基于头肩检测的多目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113763418A(43)申请公布日2021.12.07(21)申请号202110228197.4(22)申请日2021.03.02(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人吴玉香魏丙乾(74)专利代理机构广州市华学知识产权代理有限公司44245代理人林梅繁(51)Int.Cl.G06T7/246(2017.01)G06K9/62(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于头肩检测的多目标跟踪方法(57)摘要本发明涉及一种基于头肩检测的多目标跟踪方法，包括以下步骤：S1、构建头肩检测数据集，对改进的YOLOv3目标检测网络进行训练；S2、建立头肩外观特征提取的图像数据集；S3、输入视频流；S4、外观提取模型采用全局与局部特征的策略，利用代价矩阵进行跟踪相似度匹配；S5、借助代价矩阵和头肩检测数据进行相似度匹配，更新操作得出跟踪结果；S6、若有数据帧输入，则重复步骤S3至步骤S5的操作直至输入数据结束。本发明通过利用头肩外观特征提取模型，采用全局特征和局部特征融合的策略，提升外观提取模型对图像细粒度信息的敏感程度，更有效地提取头肩的外观特征信息，从而提升头肩跟踪的效果。CN113763418ACN113763418A权利要求书1/2页1.一种基于头肩检测的多目标跟踪方法，其特征在于，包括以下步骤：S1、通过构建头肩检测数据集，并且对头肩数据集进行标注，再基于头肩数据集对改进的YOLOv3目标检测网络进行训练，获取头肩检测模型，通过头肩检测模型实时检测出视频图像中人的头肩，输出头肩的位置信息；S2、通过建立头肩外观特征提取的图像数据集，并设计外观特征提取网络进行训练，获取头肩外观特征提取模型，通过头肩外观特征提取模型提取出用于目标相似度匹配的外观特征信息；S3、输入视频流，并从输入的视频流中获取一帧图像数据，利用头肩检测模型获取此视频帧图像数据中的头肩信息；S4、将头肩检测模型获取的头肩信息输入到经过训练的外观特征提取模型得到固定维度的头肩特征信息，将提取出的头肩特征信息用作外观信息的描述，且外观提取模型采用全局特征融合局部特征的策略，利用头肩位置和外观特征信息共同组成代价矩阵进行跟踪相似度匹配；S5、若是视频流的第一帧图像数据则将检测到的头肩初始化为头肩跟踪数据，若不是第一帧数据则对前一帧的头肩跟踪数据进行预测操作，得出当前帧的头肩跟踪预测数据，然后借助代价矩阵和当前帧的头肩检测数据进行相似度匹配，再通过更新操作得出当前帧的跟踪结果；S6、若还有后续数据帧输入，则重复步骤S3至步骤S5的操作直至输入数据结束。2.根据权利要求1所述的头肩检测的多目标跟踪方法，其特征在于，步骤S1中构建头肩检测数据集主要是通过收集人体图像数据，选择视频图像中人的头肩部位作为检测和跟踪对象。3.根据权利要求1所述的头肩检测的多目标跟踪方法，其特征在于，步骤S1中头肩数据集对改进的YOLOv3目标检测网络进行训练主要包括以下步骤：S11、将Darknet53主干网络中第十一个残差块的输出即大小为52*52的特征图单独引出；S12、做一个降采样的操作使大小为52*52的特征图变成大小为26*26的特征图；S13、将大小为26*26的特征图和主干网络后相同大小的特征图做特征融合。4.根据权利要求1所述的头肩检测的多目标跟踪方法，其特征在于，步骤S2中建立头肩外观特征提取的图像数据集，包括：将数据集中同一个人的头肩图像作为同一类，每个人都有若干张不同姿态的头肩数据。5.根据权利要求1所述的头肩检测的多目标跟踪方法，其特征在于，步骤S3中的头肩信息包含头肩预测边界框位置信息(x,y,w,h)；其中，x,y为预测边界框的中心坐标，w为预测边界框的宽度，h为预测边界框的高度，通过这四个值确定出一个头肩目标在视频图像中的位置。6.根据权利要求1所述的头肩检测的多目标跟踪方法，其特征在于，步骤S4中局部特征采用水平切块的方法，将检测到的头肩目标从中间水平分成两块，每块独立作为局部特征来描述头肩目标，最后和全局特征融合在一起共同作为头肩目标的外观特征。7.根据权利要求1所述的头肩检测的多目标跟踪方法，其特征在于，步骤S4中代价矩阵中的元素代表当前帧头肩检测数据和以前帧跟踪数据之间的差异，并由它们之间的外观距2CN113763418A权利要求书2/2页离和位置距离的加权和组成，其中，外观距离的衡量是通过最小余弦距离实现，余弦相似度可定义为如下公式：则最小余弦距离可定义为如下公式：d1(α,β)＝min{1‑Sim(α,β)}其中，α和β分别是检测和跟踪数据经过外观特征提取模块提取后的特征向量，θ是α和β特征向量之间的夹