基于数据分离多尺度特征结合的人体复杂行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111597881A(43)申请公布日2020.08.28(21)申请号202010258727.5(22)申请日2020.04.03(71)申请人浙江工业大学地址310014浙江省杭州市下城区朝晖六区潮王路18号(72)发明人宦若虹葛罗棋吴炜(74)专利代理机构杭州斯可睿专利事务所有限公司33241代理人王利强(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书7页附图2页(54)发明名称基于数据分离多尺度特征结合的人体复杂行为识别方法(57)摘要一种基于数据分离多尺度特征结合的人体复杂行为识别方法，分割位于手腕和下肢位置的加速度传感器数据和陀螺仪数据，将分割后的传感器数据分别输入手腕位置和下肢位置的一维卷积神经网络与双向长短期记忆单元的混合神经网络，对分割后的传感器数据提取特征，选择保留优势特征向量，将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合，得到多尺度特征向量，并将该特征向量与优势特征向量融合，作为全连接网络的输入特征，经过全连接网络后得到样本分类标签。本发明能克服单一神经网络表达能力不完全的问题，并结合网络不同深度的特征，形成多尺度特征，从而提高人体复杂行为识别正确率。CN111597881ACN111597881A权利要求书1/3页1.一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述方法包括以下步骤：步骤1，将位于手腕和下肢位置的加速度传感器数据、陀螺仪数据通过滑动窗口进行分割；步骤2，将分割后的手腕和下肢位置的传感器数据分别输入手腕位置和下肢位置的一维卷积神经网络与双向长短期记忆单元的混合神经网络，保留神经网络不同层输出的状态信息；步骤3，对分割后的传感器数据提取特征，并进行标准化处理，通过序列前向选择算法和网络权重比较，对提取的一系列特征进行筛选，保留优势特征向量；步骤4，将混合神经网络中第二层卷积输出的状态信息与双向长短期记忆单元输出的状态信息结合，得到多尺度状态信息，对得到的多尺度状态信息进行均值池化处理，得到多尺度特征向量；步骤5，将步骤4得到的多尺度特征向量与步骤3提取的优势特征向量融合，作为全连接网络的输入特征，该输入特征经过全连接网络后得到样本分类标签。2.如权利要求1所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤1的过程为：将位于手腕和下肢位置的加速度传感器数据、陀螺仪数据分别按窗口大小为200进行50％的数据重叠分割，窗口大小200指当传感器频率为50Hz时，一共收集4s数据，作为一个输入数据；50％数据重叠指有重复的分割，每一个窗口大小为200的当前输入数据，后100个数据作为下一个输入数据的前100个数据。3.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤2的过程为：将手腕以及下肢位置的传感器数据分别输入手腕位置和下肢位置一维卷积神经网络与双向长短期记忆单元的混合神经网络，传感器数据首先通过一维卷积神经网络，得到有时序的高维状态特征信息RC＝{{rc1,1,rc1,2,...rc1,50},{rc2,1,rc2,2,...rc2,50},...,{rc32,1,rc32,2,...rc32,50}}，其中rci,j表示第i个状态特征向量的第j个值，将这个带时序的高维状态特征信息作为双向长短期记忆单元的输入，得到RL＝{{rl1,1,rl1,2,...rl1,64},{rl2,1,rl2,2,...rl1,64},...,{rl50,1,rl50,2,...rl50,64}}，其中rln,m表示第(m-1)/2+1个隐层在n时刻的输出。4.如权利要求1或2所述的一种基于数据分离多尺度特征结合的人体复杂行为识别方法，其特征在于：所述步骤3的过程为：对分割后的传感器数据提取特征，提取的特征包括：均值、均方根、标准差、均值的模、标准差的模、绝对中位差、最小值、最大值、峰度、偏度和相关系数，将特征值进行标准化处理，即转换为均值为0，方差为1的正态分布，公式如下：通过序列前向选择算法和网络权重比较来衡量特征的重要性进而选择特征，过程是将得到的所有特征，逐个与经过网络平均池化后的特征向量进行线性融合，融合后的向量作为混合神经网络全连接层的输入，通过输出的结果精度进行取舍，若模型结果精度有所提升，则保留当前特征，若模型精度下降，则剔除该特征；对于添加特征后模型精度值变化在±0.001之间的特征，读取网络模型全连接层的权重，通过比较特征之间的权重大小来判断是否保留该特征，如该特征权重大于已选择的优势特征权