一种基于模态融合的步态识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111428658A(43)申请公布日2020.07.17(21)申请号202010231644.7(22)申请日2020.03.27(71)申请人大连海事大学地址116026辽宁省大连市高新园区凌海路1号(72)发明人刘晓凯尤昭阳毕胜刘祥(74)专利代理机构大连东方专利代理有限责任公司21212代理人姜玉蓉李洪福(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图1页(54)发明名称一种基于模态融合的步态识别方法(57)摘要本发明提供一种基于模态融合的步态识别方法，属于模式识别技术领域，为解决现有步态识别技术受光照条件以及复杂背景或协变量影响较大，导致轮廓图提取不准确，从而影响识别精度以及由于缺少人体基本属性信息而使其特征表达能力受到限制，同时由于关键点序列是非结构化数据，难以用深度网络进行建模，多采用凭经验人工设计特征的方法，无法最大化挖掘有效的判别特征，影响识别准确率及泛化能力的问题。本发明采用模态融合方式，将具有互补性的人体关键点特征和步态轮廓图特征进行模态融合。人体关键点序列输入图卷积神经网络，提取基于骨架信息的步态特征，步态轮廓图序列输入卷积神经网络，提取基于轮廓信息的步态特征，提升了步态识别的准确率。CN111428658ACN111428658A权利要求书1/2页1.一种基于模态融合的步态识别方法，其特征在于，包括如下步骤：S1、采集步态视频序列；S2、采用OpenPose对上述步态视频序列进行姿态估计，得到步态关键点序列；S3、构建时空骨架序列；将得到的步态关键点序列在空间上进行人体自然连接；同时根据人体走路步态的对称性特点，将对称点进行连接；在时间上，将帧与帧之间相同的关键点进行连接；S4、将时空骨架序列输入多尺度时空图卷积网络进行训练，提取基于骨架信息的步态特征，分别计算待识别样本和图库中样本之间的余弦相似度S，S越大则样本相似度越高；S5、采用前景提取技术，对上述采集的步态视频序列进行前景分割获得步态轮廓图序列；S6、将步骤S5中获得的步态轮廓图进行预处理，即对获得的步态轮廓图进行剪裁并对齐，剪裁到大小为64x64；S7、将预处理后的步态轮廓图输入到卷积神经网络中进行训练，提取基于轮廓信息的步态特征，分别计算待识别样本和图库中样本之间的欧几里得距离D，D越小则越相似；S8、将所述提取的基于骨架信息的步态特征和提取的基于轮廓信息的步态特征进行融合；S9、根据融合后的距离对样本库中样本进行排序，计算rank-1识别准确率。2.根据权利要求1所述的基于模态融合的步态识别方法，其特征在于，所述步骤S4具体为：S41、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；S42、采用孪生机制，在一次迭代中，将所述选择的样本输入支路1，将正样本和负样本依次输入支路2，支路1和支路2共享参数；S43、采用SoftMax和交叉熵损失函数对支路1中所述选择的样本特征进行分类；S44、采用对比损失函数对比所述选择的样本与正样本的特征，以及所述选择的样本与负样本的特征；若样本来自于同一个ID，则标签为1，否则标签为0；S45、反向传播，更新网络，完成多尺度时空图卷积网络的训练；S46、输入待测试的步态关键点序列；S47、利用训练好的多尺度时空图卷积网络提取步态特征，并对该特征进行二范数归一化；S48、对样本库中的样本进行步骤S46和步骤S47的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态序列；S49、计算待检索行人步态序列与检索库中行人步态序列之间的距离，即针对一个待检索行人步态序列，计算其特征与检索库中所有行人步态序列之间的余弦相似度S，并将该余弦相似度进行保存。3.根据权利要求1所述的基于模态融合的步态识别方法，其特征在于，所述步骤S7具体为：S71、选择样本后，从ID与所选择的样本相同的所有样本中随机选取一个样本作为正样本，从ID与所选择的样本不同的所有样本中随机选取一个样本作为负样本；2CN111428658A权利要求书2/2页S72、将样本输入卷积神经网络，学习步态特征，采用三元组损失函数，将该样本特征分别与正负样本特征进行对比，减小类内距离，增大类间距离；S73、反向传播，更新网络，完成卷积神经网络的训练；S74、输入多张待检测样本的步态轮廓图；S75、利用训练好的卷积神经网络提取步态特征；S76、对样本库中的样本进行步骤S74和步骤S75的操作，则可用特征向量来代表待检索行人步态序列和检索库中行人步态