基于多模态双流3D网络的视频人体行为识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110705463A(43)申请公布日2020.01.17(21)申请号201910936088.0(22)申请日2019.09.29(71)申请人山东大学地址250061山东省济南市历下区经十路17923号(72)发明人马昕武寒波宋锐荣学文田国会李贻斌(74)专利代理机构济南圣达知识产权代理有限公司37221代理人董雪(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书12页附图2页(54)发明名称基于多模态双流3D网络的视频人体行为识别方法及系统(57)摘要本发明公开了一种基于多模态双流3D网络的视频人体行为识别方法及系统，包括：基于深度视频生成的深度动态图序列DDIS；基于RGB视频生成的姿势评估图序列PEMS；将深度动态图序列和姿势评估图序列分别输入到3D卷积神经网络中，构造DDIS流和PEMS流，得到各自的分类结果；将得到的分类结果进行融合，得到最终的行为识别结果。本发明有益效果：DDIS通过对视频的局部时空结构信息进行建模，能够很好地描述长时行为视频中的人体运动以及交互物体的轮廓。PEMS能够清晰地捕捉人体姿态的变化，消除背景杂乱的干扰。多模态双流3D网络架构能够有效建模行为视频在不同数据模态下的全局时空动态，具有优越的识别性能。CN110705463ACN110705463A权利要求书1/2页1.一种基于多模态双流3D网络的视频人体行为识别方法，其特征在于，包括：基于深度视频生成的深度动态图序列DDIS；基于RGB视频生成的姿势评估图序列PEMS；将深度动态图序列和姿势评估图序列分别输入到3D卷积神经网络中，构造DDIS流和PEMS流，得到各自的分类结果；将得到的分类结果进行融合，得到最终的行为识别结果。2.如权利要求1所述的一种基于多模态双流3D网络的视频人体行为识别方法，其特征在于，所述的基于深度视频生成的深度动态图序列，具体为：采用宽度为L的滑动窗口沿深度视频序列的时间轴以设定步长s进行移动，生成T个短片段；采用排序池化法将每个短片段中的时空信息聚合为一张深度动态图像，得到深度动态图序列。3.如权利要求2所述的一种基于多模态双流3D网络的视频人体行为识别方法，其特征在于，所述步长s与深度视频序列的长度N满足如下关系式：4.如权利要求2所述的一种基于多模态双流3D网络的视频人体行为识别方法，其特征在于，采用排序池化法将每个短片段中的时空信息聚合为一张深度动态图像，具体为：令其中表示深度视频的第t个片段中的第j张图像，滑动窗口的宽度L同样也是视频片段的长度；通过时变平均向量运算捕获第t个视频片段中连续帧之间的时序信息；使用结构风险最小化定义排序池化的目标函数：得到满足上述目标函数的最优参数向量，所述参数向量被转换为一个二维矩阵表示生成的动态图像，该动态图像聚合了一个深度视频短片段的所有图像帧，能够同时描述深度视频短时片段的空间运动和时间结构信息。5.如权利要求1所述的一种基于多模态双流3D网络的视频人体行为识别方法，其特征在于，基于RGB视频生成的姿势评估图序列，具体为：对于RGB视频序列，通过在每张彩色图像上应用姿势评估来生成相应的姿势评估图；然后将稀疏采样应用到原始生成的RGB姿势评估图序列中，得到姿势评估图序列。6.如权利要求1所述的一种基于多模态双流3D网络的视频人体行为识别方法，其特征在于，将DDIS流和PEMS流生成的类得分向量进行平均化处理，获取行为视频的最终分类得分。7.一种基于多模态双流3D网络的视频人体行为识别系统，其特征在于，包括：用于基于深度视频生成的深度动态图序列的模块；用于基于RGB视频生成的姿势评估图序列的模块；用于将深度动态图序列和姿势评估图序列分别输入到3D卷积神经网络中，得到各自的分类结果的模块；用于将得到的分类结果进行融合，得到最终的行为识别结果的模块。2CN110705463A权利要求书2/2页8.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-6任一项所述的基于多模态双流3D网络的视频人体行为识别方法。9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-6任一项所述的基于多模态双流3D网络的视频人体行为识别方法。3CN110705463A说明书1/12页基于多模态双流3D网络的视频人体行为识别方法及系统技术领域[0001]本发明涉及人体行为识别技术领域，尤其涉及一种基于多模态双流3D网络的视频人体行为识别方法及系统。背景技术[0002]本部分的陈述仅仅是提供了与本发明