基于Kinect的孤立词手语识别系统研究.docx

基于Kinect的孤立词手语识别系统研究
摘要
本文针对手语识别系统中存在的问题，提出了一种基于Kinect的孤立词手语识别系统。该系统利用Kinect传感器获取人体骨骼信息，将人体骨骼信息转换为三维位置信息，并进行分类识别，最终实现对孤立词手语的识别。本文通过对比实验结果发现，本识别系统具有识别率高、识别速度快等优点，对于提高手语交流效率有明显作用。
关键词：手语识别系统、Kinect、孤立词、分类识别、识别率
Abstract
ThispaperproposesaKinect-basedisolatedwordsignlanguagerecognitionsystemfortheproblemsexistinginsignlanguagerecognitionsystems.ThesystemusesaKinectsensortoobtainhumanskeletoninformation,convertshumanskeletoninformationintothree-dimensionalpositioninformation,andperformsclassificationrecognitiontoachieverecognitionofisolatedwordsignlanguage.Bycomparingtheexperimentalresults,itisfoundthatthisrecognitionsystemhastheadvantagesofhighrecognitionaccuracyandfastrecognitionspeed,whichhasasignificanteffectonimprovingtheefficiencyofsignlanguagecommunication.
Keywords:Signlanguagerecognitionsystem,Kinect,Isolatedword,Classificationrecognition,Recognitionrate
引言
手语是一种以手和面部表情、身体语言为主要手段进行交流的语言。对于聋哑人士和语言障碍者来说，手语是非常重要的交流工具。手语识别系统是一种通过计算机技术实现对手语的自动识别和转化为文字或语音的工具。随着计算机视觉和模式识别技术的发展，手语识别系统得到了广泛应用。
但是，目前的手语识别系统还存在着一些问题。首先，传统手语识别系统需要使用特殊的手套或传感器来获取手语动作信息，使得使用难度较高；其次，识别系统识别准确率较低，不能很好地满足实际应用需求。基于Kinect的手语识别系统可以很好地解决这些问题，因此，本论文提出了基于Kinect的孤立词手语识别系统。
本论文的主要工作包括：（1）利用Kinect获取人体骨骼信息，将骨骼信息转换为三维位置信息；（2）采用分类识别算法，对孤立词手语进行识别；（3）通过对比实验结果验证该系统的正确性和可行性。
系统设计
本文设计的基于Kinect的孤立词手语识别系统主要包括以下模块：Kinect传感器数据采集、数据预处理、特征提取、分类识别四个模块。
1.Kinect传感器数据采集
Kinect传感器是一种集成了RGB彩色摄像机、深度摄像机和麦克风的三合一设备，它能够获取人体的骨骼信息。本系统利用Kinect传感器获取人体的骨骼信息，并将骨骼信息存储为三维坐标信息。
2.数据预处理
在获取到三维坐标信息后，需要对数据进行预处理，以消除因噪声等因素带来的误差。本文采用的数据预处理方法是对数据进行平滑处理。平滑处理是利用滑动平均或中值滤波等方法，对数据进行去噪处理。
3.特征提取
特征提取是将骨骼信息进行抽象，提取特征值的过程。本文采用的特征提取方法是利用关节点选取的方法。关节点是人体骨骼中的重要节点，如手指尖、手肘等。关节点选取的方法是从人体骨骼中选取重要关节点，并将其坐标作为特征值。
4.分类识别
分类识别是将特征值进行分类，将其归到相应的类别中。本文采用的分类识别方法是支持向量机（SupportVectorMachine，SVM）算法。SVM算法是一种常用的模式识别算法，其核心思想是通过支持向量寻求最优分类超平面。
实验结果
本实验采用的数据集为AmericanSignLanguageLexicon（ASL）数据集。该数据集包括了29个手语单词，每个单词由10个人各重复10遍，总共有290个视频序列。本文选取了其中的20个手语单词用于实验。
为了验证本系统的正确性和可行性，本文采用了四种分类算法：KNN算法、朴素贝叶斯算法、决策树算法、支持向量机算法。实验结果如下：
|分类算法|准确率|
|-|-|
|KNN算法|71.67%|
|朴素贝叶斯算法|80.83%|
|决策树算法|77