基于多特征融合CNN-BLSTM的人体复杂行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111079599A(43)申请公布日2020.04.28(21)申请号201911240544.4(22)申请日2019.12.06(71)申请人浙江工业大学地址310014浙江省杭州市下城区朝晖六区潮王路18号(72)发明人宦若虹葛罗棋吴炜(74)专利代理机构杭州斯可睿专利事务所有限公司33241代理人王利强(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于多特征融合CNN-BLSTM的人体复杂行为识别方法(57)摘要一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法包括如下步骤：通过滑动窗口对连续的传感器数据进行分割，对分割后的传感器数据提取特征，并通过特征选择算法，对这一系列人工提取特征进行筛选，保留优势特征；将分割后的行为数据输入深度学习模型进行训练，首先通过卷积神经网络进行一维卷积池化处理，再通过双向长短期记忆神经网络，使用平均池化层对双向长短期记忆神经网络输出的状态进行显著性特征提取，最后将池化后的特征向量与先前提取的优势特征向量融合，作为全连接层的输入特征，得到复杂行为识别的输出。本发明能充分挖掘传感器数据特征，提高人体复杂行为识别准确率。CN111079599ACN111079599A权利要求书1/2页1.一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述方法包括以下步骤：步骤1，通过滑动窗口对连续的传感器数据进行分割；步骤2，对分割后的传感器数据提取特征，并进行标准化处理，通过特征选择算法，对这一系列人工提取特征进行筛选，保留优势特征；步骤3，将分割后的行为数据输入深度学习模型进行训练，首先通过卷积神经网络进行一维卷积池化处理，再通过双向长短期记忆神经网络，使用平均池化层对双向长短期记忆神经网络输出的状态进行显著性特征提取；步骤4，将池化后的特征向量与先前提取的优势特征向量融合，作为全连接网络的输入特征；步骤5，将待识别的传感器数据进行特征提取，输入训练后的一维卷积神经网络和双向长短期记忆神经网络，得到各个行为类别的输出。2.如权利要求1所述的一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述步骤1的过程为：选择窗口大小为200进行50％的数据重叠分割，窗口大小200指传感器频率为50Hz，一共收集4s，作为一个输入数据；50％数据重叠指有重复的分割，每一个窗口大小为200的当前输入数据，后100个数据作为下一个输入数据的前100个数据。3.如权利要求1或2所述的一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述步骤2的过程为：对200窗口大小的数据进行特征提取，提取的特征值包括：均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数。将特征中的值进行标准化处理，即转换为均值为0，方差为1的正态分布，公式如下：通过序列前向选择算法和网络权重值来衡量特征的重要性进而选择特征，操作是将得到的所有特征，逐个添加至神经网络，与经过网络平均池化后的特征向量进行线性融合，融合后的向量作为全连接层的输入，通过输出的结果精度进行取舍，若模型结果精度有所提升，则保留当前特征，若模型精度下降，则剔除该特征；对于添加特征值后模型精度值变化在±0.001之间的特征，读取网络模型全连接层的权重，通过比较特征值之间的权重大小来判断是否保留该特征，如该特征值权重大于已选择的优势特征值权重，则保留该特征值，否则剔除该特征，最终得到优势特征向量。4.如权利要求1或2所述的一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述步骤3的过程为：将手腕以及脚踝位置的加速度计和陀螺仪一共4个传感器数据作为CNN-BLSTM网络的输入，每个传感器有x、y、z三轴数据,一共12维数据，每个数据窗口大小为200；将原始数据首先通过一维卷积神经网络，得到有时序的高维特征，并将这个带时序的高维特征作为双向长短期记忆神经网络的输入，经过双向长短期记忆神经网络对高维特征进行充分地学习后得到网络输出的状态信息为其中为t＝i时刻前向长短期记忆神经网络的输出，为t＝i时刻反向长短期记忆神经网络的输出，通过平均池化层对双向长短期记忆神经网络输出的状态信息进行特征提取，其2CN111079599A权利要求书2/2页公式如下所示：5.如权利要求1或2所述的一种基于多特征融合CNN-BLSTM的人体复杂行为识别方法，其特征在于：所述步骤4的过程为：通过步骤2和步骤3得到了两组特征向量，一组为序列前向