一种基于深度学习和姿态估计的监控中人体动作识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110222665A(43)申请公布日2019.09.10(21)申请号201910513337.5(22)申请日2019.06.14(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人秦臻张扬丁熠秦志光(74)专利代理机构成都正华专利代理事务所(普通合伙)51229代理人李蕊(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书6页附图2页(54)发明名称一种基于深度学习和姿态估计的监控中人体动作识别方法(57)摘要本发明公开了一种基于深度学习和姿态估计的监控中人体动作识别方法，包括构建基于相对部位关节特征表示的多流动作识别模型；对人体骨骼动作数据进行预处理和相对部位关节特征表示的转换；将转换后的相对部位关节特征表示输入多流动作识别模型中进行模型的训练和评估，选取多轮迭代后收敛识别率最高的最优模型；获取监控视频实时场景下的监控片段，采用姿态估计算法得到监控片段中人体的骨骼动作序列，并其进行预处理；对预处理后的骨骼动作序列进行特征表示转换；使用所述最优模型识别预处理和特征表示转换后的骨骼动作序列中的人体动作，得到动作分类结果；将识别的分类结果与预设危险动作类别进行对比，并返回对比结果给监控工作人员。CN110222665ACN110222665A权利要求书1/2页1.一种基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，包括：S1、构建基于相对部位关节特征表示的多流动作识别模型；S2、对人体骨骼动作数据进行预处理和相对部位关节特征表示的转换；S3、将转换后的所述相对部位关节特征表示输入多流动作识别模型中进行模型的训练和评估，选取多轮迭代后收敛识别率最高的最优模型；S4、获取监控视频实时场景下的监控片段，采用姿态估计算法得到监控片段中人体的骨骼动作序列，并对骨骼动作序列进行预处理；S5、对预处理后的骨骼动作序列进行特征表示转换；S6、使用所述最优模型识别预处理和特征表示转换后的骨骼动作序列中的人体动作，得到动作分类结果；S7、将识别的分类结果与预设危险动作类别进行对比，并返回对比结果给监控工作人员。2.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S1构建多流动作识别模型的方法为：复合CNN和LSTM网络单元，在CNN和LSTM之间引入激活函数、随机失活和维度变换，整合成LSTM-CNN单元，用以提取运动骨骼序列的时空运动特征，并采用LSTM-CNN单元搭建得到多流动作识别模型。3.根据权利要求2所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于：使用一层公共的LSTM-CNN网络单元来提取低层运动特征，5个三层的LSTM-CNN多流网络并行提取人体骨骼不同部位的不同运动特征；5个不同部位的运动特征图在时空池化过后，运用全连接和分类器将特征映射到分类得分向量；采用权重融合策略，将5个分类得分融合得到最后的分类结果。4.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S2中人体骨骼动作数据进行预处理的方法为：采用随机滑动窗口策略，设定窗口长度，在运动骨骼序列中随机截取一段作为输入，当序列长度小于窗口长度时，采用零填充补全。5.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S2中将原始骨骼序列关节的特征表示转换为相对部位关节特征表示的方法为：将骨骼序列中的人体骨骼关节分为5个部分，包括左臂、右臂、左腿、右腿、躯干，每一部位包含若干个关节点；每个部位选取一个靠近骨骼重心的关节点作为局部根节点；计算每个部位中其它关节点到相应局部根节点的相对位置；计算5个局部根节点到骨骼重心的相对位置，得到的新的坐标表示即为相对部位关节特征表示，其计算公式为：2CN110222665A权利要求书2/2页其中，是特征表示转换前第t帧中关节点j的特征表示，xj,t是特征转换之后的表示，ri表示第i个部位的局部根节点关节，c表示人体骨骼的重心，n是关节点的个数，xc,t表示t帧中重心的特征表示。6.根据权利要求1所述的基于深度学习和姿态估计的监控中人体动作识别方法，其特征在于，所述步骤S3中模型的训练和评估的方法为：将转换后的运动骨骼序列输入到多流动作识别模型中，设定训练轮数为60轮，每5轮使用测试集进行一次评估，模型训练的初始学习率设定为0.01，在10轮和50轮后学习率降为原来的十分之一；每5轮的模型评估中，使用识别准确率作为评估标准，选取12次评估中识别准确率最高的模型作为输出模型进行保存，作为应