一种基于多模态多时间尺度的步态识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114529717A(43)申请公布日2022.05.24(21)申请号202111632128.6(22)申请日2021.12.29(71)申请人宁波大学地址315211浙江省宁波市江北区风华路818号(72)发明人李国栋郭立君张荣钱江波(74)专利代理机构宁波甬致专利代理有限公司33228专利代理师袁波(51)Int.Cl.G06V10/26(2022.01)G06V10/44(2022.01)G06V10/774(2022.01)G06K9/62(2022.01)G06V40/20(2022.01)权利要求书2页说明书7页附图1页(54)发明名称一种基于多模态多时间尺度的步态识别方法(57)摘要本发明涉及一种基于多模态多时间尺度的步态识别方法，采用结合行人轮廓图和行人姿态热图能够有效降低行人换装对步态识别的影响；同时采用自注意网络提取所有帧局部步态特征块序列之间同一序列位置的多时间尺度的局部特征特征块，充分挖掘行走序列所有帧之间步态特征的依赖关系，进而提升步态识别的准确率。CN114529717ACN114529717A权利要求书1/2页1.一种基于多模态多时间尺度的步态识别方法，其特征在于，包括如下步骤：步骤1、采集步态数据集，所述步态数据集包括若干个行人行走序列的RGB图像；步骤2、依次从每帧RGB图像中获取行人轮廓图和行人姿态热图并裁剪生成相应的轮廓图序列和姿态热图序列；步骤3、构建多模态步态识别模型，所述多模态步态识别模型包括用于从轮廓图序列和姿态热图序列中提取轮廓特征图序列和姿态特征图序列的特征提取模块、用于将轮廓特征图序列和姿态特征图序列拼接生成全局步态特征图序列的特征融合模块、用于对每帧全局步态特征图进行水平切分、池化得到局部步态特征块序列的水平池化模块以及通过自注意力网络将所有帧局部步态特征块序列之间同一序列位置的局部特征块建立多时间尺度依赖关系并输出局部步态特征序列的时间建模模块；步骤4、采集训练样本输入到所述多模态步态识别模型，并利用损失函数训练所述多模态步态识别模型，使得所述多模态步态识别模型得到鲁棒的局部步态特征；步骤5、测试所述多模态步骤识别模型。2.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法，其特征在于，所述步骤2中采用背景差分法从每帧RGB图像中获取行人轮廓图，采用人体姿态估计模型CPM从每帧RGB图像中获取行人姿态热图；所述步骤2中裁剪行人轮廓图和行人姿态热图时将行人处于图像正中的位置，裁剪处宽度为W，高度为H的行人轮廓图和行人姿态热图，组成轮廓图序列和姿态热图序列。3.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法，其特征在于，所述特征提取模块包括：轮廓特征提取器和姿态特征提取器，所述轮廓特征提取器、姿态特征提取器均包括依次连接的第一卷积块、第二卷积块、第一Focal_4卷积块、第二Focal_4卷积块、第一Focal_8卷积块、第二Focal_8卷积块，所述第一卷积块包括第一基本2D卷积层；所述第二卷积块包括第二基本2D卷积层和第一最大池化层；所述第一Focal_4卷积块包括第一Focal_4卷积层；所述第二Focal_4卷积块包括第二Focal_4卷积层和第二最大池化层；所述第一Focal_8卷积块包括第一Focal_8卷积层；所述第二Focal_8卷积块包括第二Focal_8卷积层；所述时间建模模块包括若干个自注意力网络，所述自注意力网络的数量与全局步态特征图水平切分的数量相等；所述自注意力网络包含第一多头注意力层、第二多头注意力层和时间池化层，所述第一多头注意力层和第二多头注意力层均包括Q全连接层、K全连接层、V全连接层和前馈网络全连接层。4.根据权利要求1所述的一种基于多模态多时间尺度的步态识别方法，其特征在于，所述步骤4训练多模态步态识别模型具体包括：步骤401、采集训练样本，将训练样本随机分成K个样本组，每个样本组包括Pb个行人，每个行人包含Kb个行走序列，其中，同一个人的Kb个行走序列互为正样本；不通过人之间的行走序列互为负样本；步骤402、将样本组Q输入到多模态步态识别模型中，Q∈[1...K],多模态步态识别模型输出多个行人的多个局部步态特征序列；步骤403、计算局部步态特征序列之间对应序列位置的局部步态特征的欧式距离；步骤404、采用损失函数计算样本组中每个样本的损失值：2CN114529717A权利要求书2/2页Loss＝ReLU(ξ+Dα,β‑Dα,γ)式中，Dα,β为特征与正样本局部步态特征之间的欧式距离，Dα,γ为特征与负样本局部步态特征之间的欧式距离，ξ为超参数，含义是欧式距离之间的边缘；步骤405、根据计算得到的损失值，判断Loss是否收敛不变，若是，则训练结束；