基于RGBD的人体行为识别系统的中期报告.docx

基于RGBD的人体行为识别系统的中期报告
1.研究背景
人体行为识别是计算机视觉领域的一个重要研究方向，其研究目的是通过对人体动作及其语义解释的认识，实现对人类活动的理解和识别。而RGBD（红外深度）相机则是近年来发展起来的一种新型传感器，它能够同时提供RGB图像和深度图像信息，因此在人体行为识别方面具有独特的优势，成为了当前热门的研究方向之一。
2.研究内容
本研究旨在基于RGBD相机开发一套人体行为识别系统，包括以下主要内容：
（1）数据采集：在实验室内设置RGBD相机，采集相关的人体动作数据。数据集包含多个场景下的人体动作，如行走、跑步、跳跃、跳绳等，每个场景下含有多个动作样本。
（2）特征提取：针对RGBD数据，提取有效的特征表示。我们采用了基于骨骼信息的方法，利用Kinect提供的深度数据计算出人体骨骼信息，并基于此提取出相关的特征向量。
（3）特征选择和分类器设计：针对特征向量的高维性和冗余性问题，我们采用了一些特征选择的方法对特征向量进行降维，同时基于模式识别和机器学习的方法设计了分类器，如支持向量机（SVM）、人工神经网络（ANN）等。
（4）实验验证：在数据集上进行实验验证，评估所设计的人体行为识别系统的准确度和实时性。
3.研究进展
目前，我们已完成了数据采集和特征提取两个重要的环节，并进行了初步的特征分析。具体来说，我们采集了包含四种人体动作（行走、跑步、跳跃、跳绳）的数据集，每个动作类别下有多个样本，每个样本包含在不同场景下的动作表现。针对RGBD深度信息，我们首先利用了OpenNi库对RGBD图像进行采集，并通过KinectFusion算法计算出其相应的点云信息。基于点云信息，我们利用了SkeletalTracking方法得到了人体骨骼节点的3D空间坐标，并得到了包括轨迹长度、夹角以及节点之间距离等多种特征表示。
4.下一步工作计划
接下来，我们将针对特征向量的高维性和冗余性问题，采用一些特征选择的方法对特征向量进行降维。同时，我们将根据特征向量的不同降维方法，分别设计相应的分类器。在此基础上，我们将进行多种算法的比较与评估，最终设计一套优秀的基于RGBD的人体行为识别系统。