一种基于注意力机制的LSTM人体行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111178141A(43)申请公布日2020.05.19(21)申请号201911235078.0(22)申请日2019.12.05(71)申请人江苏大学地址212013江苏省镇江市学府路301号(72)发明人金华石阳阳宋雪桦王昌达(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于注意力机制的LSTM人体行为识别方法(57)摘要本发明具体涉及一种基于注意力机制的LSTM人体行为识别方法。将人体关节点坐标信息作为输入数据，将人体关节点根据人体结构分为5组，并将其坐标信息送入5个LSTM-Attention模块进行特征提取，将提取到的新特征进行3次局部融合，并将其送入相应的LSTM-Attention模块进行特征提取以获得整个人体特征，将整个人体特征送入全连接层以及softmax层输出人体行为识别结果；本发明在LSTM中引入注意力机制，使得LSTM能够较好的保留和处理数据中的时序信息，特征向量传入Attention层中能够自适应地感知对识别结果有较大影响的网络权重，提高了人体行为识别的效率和准确性。CN111178141ACN111178141A权利要求书1/2页1.一种基于注意力机制的LSTM人体行为识别方法，其特征在于包括如下步骤：1)利用体感摄像头获取待测人体行为的人体骨架深度图像序列D，记为D＝{d1，d2，d3…dn}，di表示D中第i个人体骨架深度图像；2)人体前景分割，利用体感摄像头依次对D中的人体骨架深度图像进行像素评估，在视野范围内分割出与人体部位区域最相近的范围，利用边缘检测技术从人体区域范围中分割出完整的人体轮廓图像；人体骨架深度图像di对应的人体轮廓图像记为hi；3)人体关键部位识别，利用骨架拟合方法从人体轮廓图像中识别人体关键部位，所述人体关键部位包括人体头部、躯干、左臂、右臂、左腿和右腿；4)利用人体关键部位与虚拟骨架模型匹配的方法提取人体轮廓图像hi的人体关节点在相机坐标系中的坐标信息，所述人体关节点包括：头部、左肩膀、右肩膀、左右肩膀的中心点、左肘关节、右肘关节、左手掌、右手掌、脊柱基部、左髋关节、右髋关节、左膝关节、右膝关节、左脚掌、右脚掌；5)将人体关节点在相机坐标系中的坐标信息转化为人体坐标系中的坐标信息；6)利用Savitzky-Golay平滑滤波器依次对人体坐标系中的人体关节点坐标信息进行滤波,滤波函数如下：fi＝(-3xi-2+12xi-1+17xi+12xi+1-3xi+2)/35其中，fi表示为第i时刻滤波器的输出，xi表示为第i时刻骨架节点的坐标信息；7)根据人体结构依次将人体骨架深度图像序列中每一个图像中的人体关节点坐标信息分成5组，包括左臂坐标信息序列、右臂坐标信息序列、躯干坐标信息序列、左腿坐标信息序列和右腿坐标信息序列；所述左臂坐标信息序列包括左肩膀坐标信息、左肘关节坐标信息和左手掌坐标信息；右臂坐标信息序列包括右肩膀坐标信息、右肘关节坐标信息和右手掌坐标信息；躯干坐标信息序列包括头部坐标信息、左右肩膀的中心点坐标信息和脊柱基部坐标信息；左腿坐标信息序列包括左髋关节坐标信息、左膝关节坐标信息和左脚掌坐标信息；右腿坐标信息序列包括右髋关节坐标信息、右膝关节坐标信息和右脚掌坐标信息；8)利用LSTM和注意力机制构建LSTM-Attention模块；9)将左臂坐标信息序列、右臂坐标信息序列、躯干坐标信息序列、左腿坐标信息序列和右腿坐标信息序列分别送入5个相应的LSTM-Attention模块，提取左臂、右臂、躯干、左腿以及右腿的特征；10)对提取到的左臂、右臂、躯干、左腿以及右腿的特征进行局部融合，并将融合后的特征送入相应的LSTM-Attention模块中进行特征提取，以提取到整个人体特征body′i；11)将整个人体特征body′i输入到全连接层并计算其输出yi，其计算公式为：其中，表示表示body′i的权重；12)利用softmax分类器计算人体行为类别结果对应的概率值，选取类别概率最大值对应的类别作为人体行为识别的输出结果；其中，softmax计算公式为：2CN111178141A权利要求书2/2页其中，Pc表示属于人体行为类别c的概率，yi表示全连接层第i个输出。2.如权利要求1所述的基于注意力机制的LSTM人体行为识别方法，其特征在于所述步骤中8)中所述LSTM-Attention模块构建方法包括如下步骤：8.1)计算LSTM网络中输出的第t个特征向量ht，计算公式如下：ht＝σ(Wo[ht-1，xt]+bo)*tanh(σ(Wf·[ht-1，xt]+bf)*C