一种3D手势识别方法.pdf

(19)中华人民共和国国家知识产权局*CN103294996A*(12)发明专利申请(10)申请公布号(10)申请公布号CNCN103294996103294996A(43)申请公布日2013.09.11(21)申请号201310168123.1(22)申请日2013.05.09(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人程洪代仲君(74)专利代理机构成都信博专利代理有限责任公司51200代理人舒启龙卓仲阳(51)Int.Cl.G06K9/00(2006.01)G06F3/01(2006.01)权权利要求书2页利要求书2页说明书5页说明书5页附图2页附图2页(54)发明名称一种3D手势识别方法(57)摘要本发明涉及计算机视觉和人机交互领域，具体涉及一种3D手势识别方法，包括以下步骤：从图像输入设备获取RGB图像和深度图像作为训练样本；通过自适应的动态深度阈值进行人手的检测和分割；通过图像形态学操作去掉手臂，获取手掌中心位置；通过边缘提取得到手势轮廓，并利用时间序列曲线描述手势轮廓；通过图像形态学操作获得手势中指尖位置及手指连接点的位置，在时间序列曲线的对应位置上进行曲线的分割，并对手指的时间序列曲线进行特定的组合得到手指描述器等步骤。本发明实现与计算机的自然交互，有效扩展了传统的人机交互方式，在识别率上也有很大的提高，能达到99%的识别率。CN103294996ACN1032946ACN103294996A权利要求书1/2页1.一种3D手势识别方法，其特征在于包括以下步骤：步骤一，从图像输入设备获取RGB图像和深度图像作为训练样本；步骤二，通过设定自适应动态深度阈值进行人手的检测和分割；步骤三，通过图像形态学操作去掉手臂，获取手掌中心位置；步骤四，通过边缘提取得到手势轮廓，并利用时间序列曲线描述手势轮廓；步骤五，通过图像形态学操作获得手势中指尖位置及手指连接点的位置，在时间序列曲线的对应位置上进行曲线的分割，并对手指的时间序列曲线进行特定的组合得到手指描述器特征向量；步骤六，将手势训练样本中的每一类分别表示成一个手指描述器特征矩阵；步骤七，通过图像输入设备实时获取RGB图像和深度图像，执行步骤二～步骤五将实时输入的手势表示成一个手指描述器特征向量；步骤八，将步骤七得到的手指描述器特征向量，与步骤六中得到的特征矩阵进行图像到类的动态时间规整分类处理，最后得到手势识别结果。2.根据权利要求1所述的一种3D手势识别方法，其特征在于：所述步骤二中，通过假设手为最前方的物体，设定自适应动态阈值：具体是利用二值化的方法通过自适应动态阈值分隔人手和背景，得到二值化的手势图。3.根据权利要求1所述的一种3D手势识别方法，其特征在于：所述步骤三中，通过图像形态学操作去掉手臂，获取手掌中心位置，具体是检测出手臂轮廓，选择其上的极小值点作为手腕位置，去掉手腕以下的部分，对剩下的图像作腐蚀、膨胀去掉手指得到手掌，计算手掌几何中心。4.根据权利要求1所述的一种3D手势识别方法，其特征在于：所述步骤四中，通过边缘提取得到手势轮廓，具体是以手掌几何中心位置，手掌外接圆为半径画圆，覆盖二值图中的手掌，得到手势二值图，对手势二值图提取边缘，得到手势轮廓图。5.根据权利要求1到4任意一项所述的一种3D手势识别方法，其特征在于：所述步骤四中，利用时间序列曲线描述手势轮廓，具体是通过对轮廓顶点的角度和距离的计算获得数据中蕴含的与形状相关的有用信息，并描绘成时间序列曲线，实现形状特征的提取。6.根据权利要求5所述的一种3D手势识别方法，其特征在于：所述步骤五中，通过图像形态学操作获得手势中指尖位置及手指连接点的位置，实现对时间序列曲线的分割，具体是通过对手势轮廓进行多边形估计，再检测出多边形的凹凸点，凸点为指尖，凹点为手指连接点，最后对检测到的凹凸点进行滤波，得到指尖位置及手指连接点位置，将这些位置对应到时间序列曲线上，实现对曲线的分割。7.根据权利要求6所述的一种3D手势识别方法，其特征在于：所述步骤五中，所述手指的时间序列曲线进行特定的组合得到手指描述器，具体是将曲线分割得到的手指曲线段进行特定的组合得到手指描述器特征向量。8.根据权利要求7所述的一种3D手势识别方法，其特征在于：所述步骤六中，将手势训练样本中的每一类分别表示成一个手指描述器特征矩阵，所述手指描述器特征矩阵由该类所有训练样本的手指描述器特征向量组成。9.根据权利要求8所述的一种3D手势识别方法，其特征在于：所述步骤七中，通过图像输入设备实时获取RGB图像和深度图像，执行步骤二～步骤五将实时输入的手势表示成2CN103294996A权利要求书2/2页一个手指描述器特征向量。10.根据权利要求9所述的一种3D手势识别方法，其特征在于：所述步骤八中