基于视觉的手势识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106326860A(43)申请公布日2017.01.11(21)申请号201610711131.X(22)申请日2016.08.23(71)申请人武汉闪图科技有限公司地址430070湖北省武汉市东湖开发区武大航域二期A2栋1001室(72)发明人施松新杨勇(74)专利代理机构湖北武汉永嘉专利代理有限公司42102代理人许美红(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)权利要求书3页说明书7页附图3页(54)发明名称基于视觉的手势识别方法(57)摘要本发明公开了一种基于视觉的手势识别方法，包括以下步骤：步骤1、通过Kinect传感器摄取视频流，并获得深度图像数据和骨骼数据；步骤2、用中值滤波方法对获得的深度图像数据进行预处理；步骤3、根据深度图像数据和骨骼数据对手部区域进行提取，得到手部区域二值图；步骤4、通过边缘检测二值化手部区域二值图的边缘图像，并提取手掌轮廓信息；步骤5、根据手部区域二值图进行手心重置；步骤6、根据手掌轮廓信息求出凸包顶点和外接圆；步骤7、根据手心重置以及求出的凸包顶点和外接圆，运用分类决策树和手势库中预设的多种手势进行匹配，识别手势。CN106326860ACN106326860A权利要求书1/3页1.一种基于视觉的手势识别方法，其特征在于，包括以下步骤：步骤1、通过Kinect传感器摄取视频流，并获得深度图像数据和骨骼数据；步骤2、用中值滤波方法对获得的深度图像数据进行预处理；步骤3、根据深度图像数据和骨骼数据对手部区域进行提取，得到手部区域二值图；步骤4、通过边缘检测二值化手部区域二值图的边缘图像，并提取手掌轮廓信息；步骤5、根据手部区域二值图进行手心重置；步骤6、根据手掌轮廓信息求出凸包顶点和外接圆；步骤7、根据手心重置以及求出的凸包顶点和外接圆，运用分类决策树和手势库中预设的多种手势进行匹配，识别手势。2.根据权利要求1所述的方法，其特征在于，步骤S2具体包括以下步骤：步骤2.1、先确定一个像素点p(i,j)为中心的邻域窗口w；步骤2.2、把11×11邻域窗口w中所有像素的灰度值从小到大排列，并选择中间值作为中心像素点p(i,j)的灰度新值，窗口移动时就能够通过中值滤波对图像进行平滑处理；中值滤波的基本公式是：f(i,j)＝median{f(r,s)|f(f,s)∈Nf(i,j)}其中f(r,s)表示邻域窗口w内任意像素点的灰度值，Nf(i,j)表示f(i,j)的实心邻域。3.根据权利要求1所述的方法，其特征在于，步骤S3中手部区域提取的步骤包括：步骤3.1、根据追踪到的手心和关节点坐标位置；步骤3.2、创建一个包含手部信息的矩形包围盒；步骤3.3、在矩形包围盒内以手心关节点位置开始向邻域逐个遍历像素直到个数为空，得到手部区域二值图。4.根据权利要求3所述的方法，其特征在于，步骤3.1中追踪手心和关节点位置的步骤是：步骤3.1a、在NITE库中Handtracker类提供了手势检测和手部位置跟踪功能，调用算法对手势进行检测；步骤3.1b、在对手势进行检测之后调用Handtracker类的startHandTracking()函数对手部进行追踪。5.根据权利要求3所述的方法，其特征在于，步骤3.2中创建一个包含手部信息的矩形围盒的步骤是：步骤3.2a、获得手心Z坐标深度值；步骤3.2b、根据如下公式建立包围盒子Width(W(z))＝Heigth(W(z))＝2*min{max{80-0.2*(Z-640),60},80}其中W(z)为所获取的包围盒。6.根据权利要求3所述的方法，其特征在于，步骤3.3中获取手部区域二值图的步骤是：步骤3.3a、根据手心Z坐标深度值对深度图像进行分割，其中,handmask是一个8位的单通道图像，手部候选区域的像素值为255，其它区域为0，式子中的阀值设定为100mm；2CN106326860A权利要求书2/3页步骤3.3b、将手心点投影到2D空间根据手的大小做一次二维分割，算法如下：步骤3.3c、对handmask所有闭合区域的面积进行统计，设置成人手掌的面积阀值，剔除掉小于该阀值的连通区域，最终获得较准确的手掌区域。7.根据权利要求1所述的方法，其特征在于，步骤4中，边缘检测的步骤具体包括：步骤4.1、使用Hysteris阀值对边缘像素进行判断，对于每个候选单元，如果则标记为边缘像素，幅度边缘步骤4.2、如果剩下的候选边缘在3×3的邻域范围内，那么至少还存在着一个邻像素为边缘像素，则把它标记为边缘；步骤4.3、重复步骤4.2，直到所有的边缘像素都被标记，剩下的则被标记为非边缘像素；步骤4.4、得到二值化的边缘图像；步骤4.5、对非连续的边