人体行为识别技术.pdf

实用文档

人体行为识别技术

在计算机视觉领域中，人体运动行为识别是一个被广泛关注的热点问题，在
智能监控、机器人、人机交互、虚拟现实，智能家居，智能安防，运动员辅助训
练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程：数据图像预处
理，运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方
面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向
上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分
类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对
大量行为理解研究文献的整理发现：人行为理解研究一般遵从特征提取与运动表
征、行为识别、高层行为与场景理解等几个基本过程。
特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础
上，从目标的运动信息中提取目标图像特征并用来表征目标运动状态；行为识别
则是将输入序列中提取的运动特征与参考序列进行匹配，判断当前的动作处于哪
种行为模型；高层行为与场景理解是结合行为发生的场景信息和相关领域知识，

识别复杂行为，实现对事件和场景的理解。【2】
1、行为识别的应用
从应用领域的分类来讲，可以将人体运动分析的应用分成如下几个领域：
①智能监控
这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一
定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过
运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造
成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其行
为进行分析和识别，跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相
应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大
楼、住宅小区等地，以实现对这些场所的智能监控。
②虚拟现实
跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚拟
世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。
③高级用户接口
指可以通过对用户手势的识别来代替传统的鼠标和键盘输入，从而实现人与
计算机之间的智能交互。此外，通过对手势语言的理解，还可以进行聋人与计算
机之间的手语交流。
④运动分析
人体运动分析可以运用于基于内容的视频检索领域。例如可以检索在运动会
上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间
和精力。另外一种应用是用于各种体育项目中，提取运动员的各项技术参数(如
关节位置、角度和角速度，等等)，通过分析这些信息，可以为运动员的训练提

实用文档

供指导和建议，有助于提高运动员的训练水平。此外，还可以用于体育舞蹈动作
的分析，以及临床矫形术的研究等领域。
⑤基于模型的视频编码
通过提取一定的静态场景中人物的形态特征参数和3D姿态参数，以较低的
数据量对视频数据流加以描述，实现视频数据的压缩和低比特率传送。可以用于
在因特网上展开远程视频会议以及VOD（Video-On-Demand）视频点播。
总之，人体运动跟踪的研究已涉及到计算机视觉、模式识别、视频图像处理
等方面的理论问题和实际应用问题，对人体这一带有关节旋转运动的非刚体目标
的跟踪与分析将会促进这些领域在理论上产生新的处理方法，并将对诸多应用领
域产生潜在的影响。
2、行为识别研究难点
行为识别发展至今，取得了很大的进展，在低层，中层和高层都取得了一定
的突破，但是行为识别算法并不成熟，目前不存在一个算法适合所有的行为分类，
3个视觉层次中都还有很多严峻的问题有待解决。其研究的难点主要体现在以下
几个方面：
1）动作类内类间的变化太大
对于大多数的动作，即使是同一动作都有不同的表现形式。比如说走路，可
以在不同的背景环境中完成，走路的速度也可以从慢到快，走路的步长亦有长有
短。其它的动作也有类似的结果，特别是一些非周期的运动，比如过马路时候的
走路，这与平时周期性的走路步伐明显不同。由此可见，动作的种类本身就很多，
再加上每一种类又有很多个变种，所以给行为识别的研究带来了不少麻烦。
2）环境背景等影响
环境问背景等因素的影响可谓是计算机视觉各个领域的最大难点。主要有视
角的多样性，同样的动作从不同的视角来观察会得到不同的二维图像；人与人之
间，人与背景之间的相互遮挡也使计算机对动作的分类前期特征提取带来了困难，
目前解决多视觉和遮挡问题，有学者提出了多摄像机融合通过3维重建来处理；
另外其影响因素还包括动态变化和杂乱的背景，环境光照的变化，图像视频的低
分辨率等。
3）时间变化的影响
人体的行为离不开时间这个因素。而我们拍摄的视频其存放格式有可能不同，
其播放速度有慢有快，这就导致了我们提出的系统需对视频的播放速率不敏感。
4）数据的获取和标注
既