一种基于深度学习的多目标跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114220061A(43)申请公布日2022.03.22(21)申请号202111620306.3G06V10/80(2022.01)(22)申请日2021.12.28G06V10/82(2022.01)G06K9/62(2022.01)(71)申请人青岛科技大学G06N3/04(2006.01)地址266061山东省青岛市松岭路99号青G06N3/08(2006.01)岛科技大学信息学院(72)发明人李辉梁孝国刘祥崔雪红赵国伟杨浩冉(74)专利代理机构青岛联智专利商标事务所有限公司37101代理人李升娟(51)Int.Cl.G06V20/40(2022.01)G06V10/74(2022.01)G06V10/764(2022.01)G06V10/774(2022.01)权利要求书2页说明书9页附图3页(54)发明名称一种基于深度学习的多目标跟踪方法(57)摘要本发明公开了一种基于深度学习的多目标跟踪方法，所述方法包括对视频图像序列执行特征提取的过程，所述特征提取的过程包括：将视频图像序列中相邻的两视频帧作为原始输入，获取所述原始输入对应的原始张量，将所述原始张量输入至多特征提取网络，获得多特征图；将所述多特征图输入时空融合网络，获得时空特征增强的时空融合特征图，实现对视频图像序列的特征提取；所述多特征提取网络为残差网络架构，包括有多个多特征提取模块，每个所述多特征提取模块包括通道子模块、动作子模块、特征相关子模块及残差网络的残差块。本发明通过对特征提取骨干网络中的残差块进行改进，提高提取特征的显著性，进而提高目标跟踪的精度。CN114220061ACN114220061A权利要求书1/2页1.一种基于深度学习的多目标跟踪方法，其特征在于，所述方法包括对视频图像序列执行特征提取的过程，所述特征提取的过程包括：将视频图像序列中相邻的两视频帧作为原始输入，获取所述原始输入对应的原始张量，将所述原始张量输入至多特征提取网络，获得多特征图；将所述多特征图输入时空融合网络，将时序信息与空间信息融合，获得时空特征增强的时空融合特征图，实现对视频图像序列的特征提取；所述多特征提取网络为残差网络架构，包括有多个多特征提取模块，每个所述多特征提取模块包括通道子模块、动作子模块、特征相关子模块及残差网络的残差块；所述多特征提取网络采用下述方法获得所述多特征图：所述通道子模块对所述原始张量执行空间平均池化处理、卷积处理和激活处理，生成通道掩码，所述通道掩码与所述原始张量融合，获得与所述原始张量维度相同的通道特征；所述动作子模块对所述原始张量进行特征提取，获得帧间目标运动变化张量，对所述帧间目标运动变化张量执行空间平均池化处理、卷积处理和激活处理，生成动作掩码，所述动作掩码与所述原始张量融合，获得与所述原始张量维度相同的动作特征；所述特征相关子模块对所述原始张量执行卷积处理和相关操作处理，获得与所述原始张量维度相同的特征相关特征；将所述通道特征、所述动作特征、所述特征相关特征及所述原始张量进行融合，获得融合特征，将所述融合特征输入所述残差网络的残差块进行特征提取，再将所述残差网络的残差块提取的特征与所述原始张量进行融合，获得所述多特征图。2.根据权利要求1所述的基于深度学习的多目标跟踪方法，其特征在于，所述通道子模块对所述原始张量执行空间平均池化处理、卷积处理和激活处理，生成通道掩码，所述通道掩码与所述原始张量融合，获得与所述原始张量维度相同的通道特征，具体包括：所述通道子模块对所述原始张量执行空间平均池化处理，获得输入特征的全局空间特征；利用1*1卷积压缩所述全局空间特征的通道数并重构特征，然后再次利用1*1卷积对通道数进行还原，获得还原后特征张量；利用激活函数激活所述还原后特征张量，生成所述通道掩码；将所述通道掩码与所述原始张量进行点积运算的融合，获得所述通道特征。3.根据权利要求1所述的基于深度学习的多目标跟踪方法，其特征在于，所述动作子模块对所述原始张量进行特征提取，获得帧间目标运动变化张量，对所述帧间目标运动变化张量执行空间平均池化处理、卷积处理和激活处理，生成动作掩码，所述动作掩码与所述原始张量融合，获得与所述原始张量维度相同的动作特征，具体包括：所述动作子模块将所述原始张量分离为前一帧图像张量和当前帧图像张量，对所述前一帧图像张量和所述当前帧图像张量分别执行维度信息不变的图像特征提取，将所述当前帧图像张量经特征提取后的结果执行卷积操作，然后与所述前一帧图像张量经特征提取的结果相减，获得所述帧间目标运动变化张量；对所述帧间目标运动变化张量执行空间平均池化处理，获得目标运动全局空间特征；利用1*1卷积处理所述目标运动全局空间特征，获得还原后特征张量；利用激活函数