基于多损失双流卷积神经网络的人体动作识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110110686A(43)申请公布日2019.08.09(21)申请号201910400344.4(22)申请日2019.05.14(71)申请人中国石油大学（华东）地址266580山东省青岛市黄岛区长江西路66号(72)发明人吴春雷曹海文王雷全魏燚伟(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书5页附图2页(54)发明名称基于多损失双流卷积神经网络的人体动作识别方法(57)摘要本发明公开了基于多损失双流卷积神经网络的人体动作识别方法，它属于动作识别技术领域，解决了传统的双流网络动作细节信息丢失和无法提取时空特征的问题。本发明是对时序分割网络的改进，由多损失空间网络和时间网络构成，从体系结构角度来看，多损失双流卷积神经网络由三个分支构成：动作识别、动作复原和差异惩罚。动作复原加入了复原损失，保留动作细节信息和平衡提取的动作特征信息。差异惩罚利用外观特征计算动作特征进行分类，从而得到有效的时空特征。多损失双流卷积神经网络以端到端的方式训练学习，并利用动作识别损失、复原损失和差异损失辅助动作识别模块提取丰富的视频表达，能够更好地提高动作识别的准确率。CN110110686ACN110110686A权利要求书1/2页1.基于多损失双流卷积神经网络的人体动作识别方法，其特征在于，所述方法包括以下步骤：S1.将数据集中视频V平均分为K段S1,S2,…,SK(K为经验值K＝3)，从每个子段中随机采样一帧图片和光流图作为多损失双流卷积神经网络的输入。S2.构建多损失双流卷积神经网络架构。S3.将步骤S1中采集的图片和光流图输入到多损失双流卷积神经网络中进行训练，使得损失函数最小。S4.将测试样本中的图片和光流图输入到上述已训练完成的多损失双流卷积神经网络中进行测试，再进行双流融合，最后完成基于视频的人体动作识别。2.根据权利要求1所述的基于多损失双流卷积神经网络的人体动作识别方法，其特征在于，所述S2的具体过程为：多损失双流卷积神经网络是对时序分割网络的改进，其空间网络和时间网络的网络结构是相同的(输入模态不同，分别是图片和光流图)，多损失双流卷积神经网络的空间网络和时间网络的网络结构分为三个分支：动作识别、动作复原和差异惩罚。(1)动作识别动作识别分支选用BN-Inception作为基础的网络结构，为了模拟长期的时间结构，本发明在整个视频中进行稀疏采样并聚集片段特征进行动作识别。(2)动作复原在动作识别分支的最后一层卷积层的输出进行对输入数据的复原，本发明采用了四层反卷积层和四层跳跃连接层进行复原，并利用欧氏距离损失计算复原差，为了保证在动作识别网络中能够保留部分动作细节信息。(3)差异惩罚差异惩罚分支与动作识别和动作复原分支共享特征编码网络，它在动作识别分支的最后一层卷积层后进行差异惩罚操作，本发明利用了相邻片段间的特征差进行动作识别，辅助动作识别网络能够提取丰富的时空特征。3.根据权利要求1所述的基于多损失双流卷积神经网络的人体动作识别方法，其特征在于，所述S3的具体过程为：具体的说，多损失双流卷积神经网络的训练方法是利用ImageNet数据集做预训练模型，训练动作识别模块，在动作识别网络训练完成的基础上进行训练整个网络，并利用了随机梯度下降算法进行优化。多损失双流卷积神经网络的损失函数计算公式如下：(1)动作识别将整个视频V平均分为K段{S1,S2,…,SK}，从每个片段中随机采样一帧{I1,I2,…,IK}作为网络的输入，最终得到视频在每个动作类中预测分数函数为：R(I1,I2,…,IK)＝P(h(C(I1；W),C(I2；W),…,C(IK；W)))(1)其中W为参数，函数C(Ik；W)计算每个输入经过网络所输出的类分数，k∈1,2,…,K，函数h代表融合K个片段的输出，得到最终的动作类假设分数，函数P是Softmax操作。因此，动作识别模块的损失函数为：2CN110110686A权利要求书2/2页其中n是动作类总个数，yi是真是标签，Hr＝h(C(I1；W),C(I2；W),…,C(IK；W))，即Hi＝h(Ci(I1),Ci(I2),…,Ci(IK))表示K个片段预测的同一i动作类的分数。(2)动作复原本模块利用欧氏距离损失进行优化训练，其损失函数为：其中是第k个片段通过复原网络输出的特征图，Ik为原始特征图。(3)差异惩罚首先要计算相邻两张图片或者是光流图经过动作识别网络到最后一层卷积层输出的特征(fk，fk+1)差异：dk＝fk+1-fk(4)然后将特征dk进行动作识别，即差异惩罚的损失函数为：综上所述，多损失双流卷积神经网络的总损失函数为：L＝Lr(y,Hr)+Lg+Ld(y,