基于HMM与Level Building的连续中国手语识别系统研究的开题报告.docx

基于HMM与LevelBuilding的连续中国手语识别系统研究的开题报告
一、研究背景
中国手语（ChineseSignLanguage,CSL）作为一种先天性聋人用于交流的语言，在我国聋人社群中被广泛使用。随着计算机技术的发展，自动识别手语系统成为研究的热点之一。目前，国内外研究者已经开发出了多种基于传感器、视觉传感器和深度学习算法的手语识别系统。然而，由于手语动作多样、具有连续性、语法复杂等特点，使得手语识别仍然存在许多挑战。
在这些挑战中，手语动作的连续性是一个重要的问题。传统的手语识别方法通常将手语动作分割成离散的符号单元，而在实际生活中，手语动作往往具有连续性。例如，一个词语可以由多个手语动作连续组成，而不是分割成若干个离散的符号单元。因此，为了提高手语识别系统的准确性和实用性，需要考虑如何有效地处理手语动作的连续性。
二、研究内容
本研究旨在设计一种基于HMM与LevelBuilding的连续中国手语识别系统。具体来说，本研究计划完成以下工作：
1.采集数据：通过视觉传感器（如RGB-D相机）采集中国手语动作的数据，数据集包括单个手语动作和多个手语动作连续组成的短语、句子等。
2.预处理数据：对采集的数据进行去噪、手部分割、三维坐标变换等预处理操作，以确保输入数据的有效性。
3.特征提取：对预处理后的手语数据进行特征提取，本研究将采用局部二值模式特征（LocalBinaryPattern,LBP）和手关键点坐标作为输入特征。
4.HMM与LevelBuilding模型：基于HMM模型和LevelBuilding算法，对手语动作和手语短语、句子等进行识别。具体来说，HMM模型负责对手语动作中的单个手语符号进行识别，而LevelBuilding算法则用于将多个手语符号组合成更复杂的短语、句子等。
5.实验与评估：采用公开数据集或自行采集的数据进行实验验证，评估本研究提出的识别方法在准确率、效率等方面的性能表现。
三、研究意义
本研究将有助于提高连续手语识别的准确性和实用性。与传统的手语识别方法相比，本研究在处理手语动作连续性方面更加完善。通过将HMM模型和LevelBuilding算法结合使用，本研究将能够识别更复杂的手语组合，为聋人社群提供更加便捷、高效的交流工具。
四、研究计划
第一年：
1.完成手语数据采集工作，建立数据集。
2.完成手语数据预处理和特征提取工作，探索不同特征提取方法的优缺点。
3.实现基于HMM模型的单个手语符号识别算法。
第二年：
1.探索LevelBuilding算法在手语识别中的适用性，实现手语短语、句子等的识别算法。
2.对HandGestureDB等公开数据集进行实验评估，以及自行采集数据进行测试。
第三年：
1.对识别系统进行性能优化，探索如何提高识别效率和准确率。
2.撰写毕业论文和论文发表。
参考文献：
1.Deng,S.,Quan,Y.,&Yan,Y.(2019).Continuouschinesesignlanguagerecognitionbasedonweightedhiddenmarkovmodelanddecisiontree.IEEEAccess,7,114434-114441.
2.Zhang,R.,Xie,X.,&Liu,M.(2018).Chinesesignlanguagerecognitionbyfusionofcnnandhogfeatures.EURASIPJournalonImageandVideoProcessing,2018(1),1-9.
3.Zhou,H.,Hou,Z.,&Gan,B.(2017).Anautomaticchinesesignlanguageproductionsystembasedondepthcamera.AdvancesinMechanicalEngineering,9(11),1-14.