一种基于特征融合的跨视角步态识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113869151A(43)申请公布日2021.12.31(21)申请号202111076716.6(22)申请日2021.09.14(71)申请人武汉大学地址430072湖北省武汉市武昌区珞珈山武汉大学(72)发明人王中元洪琪陈建宇邓练兵邵振峰肖进胜(74)专利代理机构武汉科皓知识产权代理事务所(特殊普通合伙)42222代理人肖明洲(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书6页附图1页(54)发明名称一种基于特征融合的跨视角步态识别方法及系统(57)摘要本发明公开了一种基于特征融合的跨视角步态识别方法及系统，首先，通过一个多尺度特征融合模块提取不同粒度的步态信息；然后，采用一种多分支学习方式，一方面提取全局特征以获得步态轮廓信息，另一方面提取局部特征以获得步态细微信息，将得到的全局特征和局部特征在通道维度上进行融合，从而达到提取互补信息的目的；最后，在特征映射阶段，采用广义平均池化层时间聚集器增强步态序列的时序信息。本发明能够从行人步态序列中提取更加完整的全局和局部特征信息，提高步态识别的精度。CN113869151ACN113869151A权利要求书1/3页1.一种基于特征融合的跨视角步态识别方法，其特征在于，包括以下步骤：步骤1：构建基于特征融合的跨视角步态识别模型；所述模型包括多尺度特征融合模块、全局特征提取模块、局部特征提取模块、全局和局部特征融合模块、特征映射模块；所述多尺度特征融合模块，由三个并行的卷积分支在通道维度上拼接而成，每一个卷积分支包括一个卷积层和一个池化层；其中，三个并行的卷积层分别为1×1卷积层、3×3卷积层和5×5卷积层；所述全局特征提取模块，包括两级特征提取；第一级由两个3×3卷积层和一个2×2最大池化层构成，第一个卷积层将特征由96通道变换为128通道，第二个卷积层保持特征的通道数不变；第二级由两个3×3卷积层构成，第一个卷积层将特征由128通道变换为256通道，第二个卷积层保持特征的通道数不变；所述局部特征提取模块，包括上分支和下分支；特征经过上分支时首先经过两个并行的3×3卷积层，特征通道由96变换为128，然后得到的两个并行特征在高度上进行拼接，再经过一个3×3卷积层特征通道由128变换为256；下分支包括两级特征提取，第一级由两个参数为4的聚焦卷积层和一个2×2最大池化层构成，第一个聚焦卷积层将特征由96通道变换为128通道，第二个卷积层保持特征的通道数不变；第二级由两个参数为8的聚焦卷积层构成，第一个卷积层将特征由128通道变换为256通道，第二个卷积层保持特征的通道数不变；所述全局和局部特征融合模块，包括全局特征和局部特征的三次融合；第一次是将局部特征提取模块下分支的第一级提取的局部特征融合到全局特征提取模块第一级提取的特征，第二次是将局部特征提取模块下分支的第二级提取的局部特征融合到全局特征提取模块第二级提取的特征，第三次是将全局特征提取模块第二级输出的特征融合到局部特征提取模块的上分支；所述特征映射模块，包括水平特征映射模块和时序增强模块；水平特征映射模块由一维全局平均池化层和一维全局最大池化层构成，时序增强模块引入广义平均池化层，它是介于平均池化层和最大池化层之间；步骤2：针对待测序列的行人图像，使用多尺度特征融合模块提取不同粒度的步态特征信息，获得特征图；步骤3：将步骤2中得到的特征图，使用全局特征提取模块、局部特征提取模块、全局和局部特征融合模块提取完整的步态特征信息；步骤4：将步骤3中得到的完整的步态特征信息，使用特征映射模块将特征信息映射到高维空间；步骤5：通过欧氏距离计算不同特征之间的相似性，最终得到待测序列的行人身份。2.根据权利要求1所述的基于特征融合的跨视角步态识别方法，其特征在于，步骤2的具体实现包括以下子步骤：步骤2.1：确定行人的步态剪影图像的中心点，然后根据中心点进行对齐并裁剪图片边缘得到64×44像素大小的步态图像序列；步骤2.2：将步态序列输入到三个不同的并行分支，分别是1×1卷积、3×3卷积和5×5卷积操作，图像序列经过不同分支后将会得到不同粒度的特征图；2CN113869151A权利要求书2/3页步骤2.3：将得到的不同粒度特征图在通道维度上进行拼接；步骤2.4：将拼接的特征图通过一个卷积和池化层，实现同一层级不同感受野的特征向下一层传递。3.根据权利要求2所述的基于特征融合的跨视角步态识别方法，其特征在于：步骤2.3中，假设输入为这里c代表通道数，h和w代表每一帧图像的长宽，那么在通道维度上拼接后的特征为：这里F1×1(X)、F3×3(X)和F5×5(X)分别表示卷