一种基于深度信息的指尖检测和手势识别方法与系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106529480A(43)申请公布日2017.03.22(21)申请号201610998600.0(22)申请日2016.11.14(71)申请人江汉大学地址430056湖北省武汉市武汉经济技术开发区(72)发明人赖重远钱同惠夏武陈红梅张纪英张仕臻赵维胜(74)专利代理机构武汉臻诚专利代理事务所(普通合伙)42233代理人向彬(51)Int.Cl.G06K9/00(2006.01)权利要求书3页说明书10页附图3页(54)发明名称一种基于深度信息的指尖检测和手势识别方法与系统(57)摘要本发明公开了一种基于深度信息的指尖检测和手势识别方法，包括：获取包含有手势信息的深度图像，并采用阈值法对手部进行粗略分割，得到带有部分前臂区域的手部形状；通过检测手腕特征标识实现手部区域的精确分割，并提取手部轮廓曲线；利用离散曲线演化方法简化手部轮廓曲线，得到包含指尖信息的手部简化折线；采用阈值法在手部简化折线上检测手指指尖；根据手部简化折线中包含的指尖个数以及设定的手势模型对所述手势进行识别。本发明方法能够准确分割手部区域，同时检测手指指尖并识别手势。本发明还提供了相应的基于深度信息的指尖检测与手势识别系统。CN106529480ACN106529480A权利要求书1/3页1.一种基于深度信息的指尖检测和手势识别方法，其特征在于，包括如下步骤：(1)获得包含有手势信息的深度图像，并采用阈值法对手部进行粗略分割，得到带有部分前臂区域的手部形状；(2)对所述带有部分前臂区域的手部形状，通过检测手腕特征标识实现手部区域的精确分割，并提取手部轮廓曲线；(3)利用离散曲线演化方法简化所述手部轮廓曲线，得到包含指尖特征的手部简化折线；(4)通过阈值法检测所述手部简化折线中的手指指尖；(5)根据所述手部简化折线中包含的指尖个数以及设定的手势模型进行手势识别。2.如权利要求1所述的基于深度信息的指尖检测和手势识别方法，其特征在于，所述步骤(3)具体包括如下子步骤：(3.1)令步骤(2)中所获得的原始的手部轮廓曲线C为初始手部演化折线；其中表示原始的手部轮廓曲线，c0表示手部轮廓曲线C的起点，ci表示手部轮廓曲线C的第i个像素点，表示手部轮廓曲线C的终点，NC表示手部轮廓曲线C的像素点个数；表示手部演化折线，其中p0＝c0，pj表示手部演化折线P的第j个顶点，NP表示手部演化折线P的顶点个数；Kj为顶点pj所对应的Δpj-1pjpj+1的视觉显著度，用以表征顶点pj对手部轮廓曲线C的构成的贡献大小，Δpj-1pjpj+1为顶点pj所对应的相关三角形，设(3.2)依次计算视觉显著度并对其按照降序排列得到手部演化折线P的顶点的视觉显著度排列(3.3)删除排在末尾的最小视觉显著度及其在手部演化折线P对应的顶点p，连接手部演化折线P中与原有p相邻的两个顶点，更新这两个顶点对应的相关三角形的视觉显著度并将它们按降序重新插入到中；(3.4)重复步骤(3.3)，直到排在末尾的最小视觉显著度大于设定视觉显著度门限值KT为止，此时得到的手部演化折线P作为最终的手部简化折线。3.如权利要求2所述的基于深度信息的指尖检测和手势识别方法，其特征在于，所述视觉显著度Kj的计算方式为：其中，l(pj-1，pj)和l(pj，pj+1)分别表示手部演化折线P的第j条边(pj-1，pj)和第j+1条边(pj，pj+1)的边长，α(pj)为顶点pj的转角，即线段(pj-1，pj)围绕顶点pj旋转到(pj，pj+1)所扫过的角度。4.如权利要求1至3任一项所述的基于深度信息的指尖检测和手势识别方法，其特征在于，所述步骤(5)具体为：首先根据所述手部简化折线中包含的指尖个数，对所述手势进行手势识别，得到所述2CN106529480A权利要求书2/3页指尖个数所对应的一个或多个手势；如果所述指尖个数对应多个手势，则将所述手部简化折线与所述指尖个数所对应的多个手势模型进行比对，得到所述手部简化折线所对应的手势。5.如权利要求1至3任一项所述的基于深度信息的指尖检测和手势识别方法，其特征在于，在所述步骤(1)中：利用包含有深度传感器的图像采集装置采集手势图像，获得包含有手势信息的深度图像；在采集所述手势图像时，手和手臂与图像采集装置之间的距离比图像中其它物体与图像采集装置之间的距离要近。6.如权利要求1至3任一项所述的基于深度信息的指尖检测和手势识别方法，所述步骤(1)中的采用阈值法对手部进行粗略分割，得到带有部分前臂区域的手部形状具体包括：将深度信息小于设定深度阈值的图像区域分割出来，得到带有部分前臂区域的手部形状；所述步骤(2)具体包括：根据预设的手腕特征标识，去除多余的前臂区域，得到较为精确的手部区域；对所述手部区域进行