基于Kinect的非特定人连续中国手语识别的任务书.docx

基于Kinect的非特定人连续中国手语识别的任务书
任务书
一、任务背景
随着计算机技术不断发展，人机交互方式也随之不断丰富，从最初的键盘鼠标到现在的语音交互、手势交互等多种方式。手势交互技术作为一种新型的人机交互方式，一直备受关注。手语作为最为普遍的肢体语言，被广泛应用在听障人士、电视、电影等领域。因此，基于手势交互技术的手语识别系统得到了广泛的关注和研究。
Kinect作为一种深度相机，可以实时获取三维点云数据，并能够进行骨骼跟踪。近年来，Kinect被广泛应用于手语识别领域。利用Kinect技术，可以有效地将手语动作转换为对应的文字或语音。因此，在这个背景下，基于Kinect的手语识别成为了一项具有研究价值和应用价值的任务。
二、任务描述
本任务主要目标是设计一个基于Kinect的非特定人连续中国手语识别系统。参赛者需要根据Kinect的相关技术和手语的特点，设计并实现一个自适应的手语识别算法。该算法需要能够在连续的手语动作序列中快速识别手语，并准确地将手语动作转换为对应的文字或语音输出，从而实现人机交互。
任务要求如下：
1.设计一个基于Kinect的连续手语识别系统，能够实时、准确地识别非特定人进行的连续中国手语。
2.实现一种有效的手势预处理、特征提取算法，提取出能够表征手语动作特征的相关信息。
3.选取适当的机器学习算法或深度学习模型，对提取出的手语特征进行分类。
4.在识别过程中，要考虑手语动作的时间序列信息以及连续性信息。
5.设计并实现输出接口，使得识别结果可以输出为文字或语音形式。
三、评估指标
在参赛者提交的代码和模型中，我们将评估以下指标：
1.准确率：在测试集上的平均准确率；
2.召回率：在测试集上的平均召回率；
3.F1分数：在测试集上的平均F1分数；
4.响应时间：系统响应用户手语输入的时间，以及输出结果的时间。
四、数据集描述
本任务的数据集由一系列人进行的手语动作序列构成，包含了多种手语动作，每个动作都有对应的标签。数据集中的手语动作由不同的人进行，存在不同的肢体形态、动作速度等差异。数据集中的每个手语动作都是由一段连续的手势序列组成，序列中的每个手势都是由Kinect深度相机采集得到的。
五、参考文献
1.Liu,R.,&Song,J.(2018).Real-timecontinuoussignlanguagerecognitionusinglevelbuildingandrankingbasedHMM.ComputerSpeech&Language,49,54-67.
2.Cui,R.,Zhang,L.,Kong,X.,&Xu,X.(2015).Asignlanguagerecognitionmethodbasedonfeaturefusionofhandshapeandtrajectory.IEEETransactionsonMultimedia,18(4),620-629.
3.Han,J.,Jain,A.K.,&Bhanu,B.(2005).Individualrecognitionusinggaitenergyimage.IEEETransactionsonPatternAnalysis&MachineIntelligence,28(2),316-322.
4.Gao,L.,Gao,J.,Ai,Q.,Lei,Y.,&Zhang,H.(2015).Dynamichandgesturerecognitionbasedonspatio-temporalfusionof3Ddepthandinertialsensors.IEEESensorsJournal,15(11),6301-6314.