一种基于Kinect深度信息的指尖检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107885327A(43)申请公布日2018.04.06(21)申请号201711021681.X(22)申请日2017.10.27(71)申请人长春理工大学地址130022吉林省长春市卫星路7186号科技大厦B座1603室(72)发明人权巍张超韩成薛耀红李华胡汉平陈纯毅蒋振刚杨华民冯欣王蒙蒙(74)专利代理机构吉林长春新纪元专利代理有限责任公司22100代理人王薇(51)Int.Cl.G06F3/01(2006.01)G06K9/00(2006.01)权利要求书1页说明书3页附图2页(54)发明名称一种基于Kinect深度信息的指尖检测方法(57)摘要本发明涉及一种基于Kinect深度信息的指尖检测方法，设备Kinect通过线缆与计算机连接；其特征在于具体步骤如下：步骤1、提取手及获取手心坐标：步骤2、指尖定位：包括图像预处理和手的轮廓；将提取的手部区域进行联合双边滤波；利用道格拉斯-普克算法对指定的点集进行逼近，找出轮廓的多边形拟合曲线并画出手部的拟合曲线。步骤3、利用convexHull()函数检索上述步骤，分析获得手的凸包点。步骤4、对获得凸包点处求曲率，根据手腕处的曲率和指尖的曲率的不同，设置合适的阈值将手腕处的凸包点去除。该方法能够实时、准确地完成手势识别任务，提高了Kinect手势识别的实时性、精确性，改善自然手势交互体验。CN107885327ACN107885327A权利要求书1/1页1.一种基于Kinect深度信息的指尖检测方法，设备Kinect通过线缆与计算机连接；其特征在于具体步骤如下：步骤1、提取手及获取手心坐标：利用Kinect1采集人体手部信息，使用NITE函数库获取手心坐标,然后通过手心点深度推算出手部的大致深度范围,然后设定搜索区域及深度阈值，利用深度二值掩膜通过一个n*n的矩阵，n行n列元素与手心区域相乘，把手部图像从背景中分离出来；步骤2、指尖定位：包括图像预处理和手的轮廓；1)将提取的手部区域进行联合双边滤波；先通过Kinect采集同一帧的深度图像和彩色图像，然后利用高斯核函数分别计算出深度图像的空间距离权值以及彩色图像的灰度权值；再将空间距离权值和灰度权值相乘得到联合滤波权值，并将高斯核函数替换成快速高斯变换，从而生成了联合双边滤波器；最后，将该滤波器滤波之后的结果与提取的手部区域图像进行卷积运算，从而实现手部指尖区域的平滑保边的效果；2)对滤波后的图像选择合适的阈值进行二值化生成二值单通道图像，再应用findContours()函数来检索二值化后的图像中的所有特征点的轮廓Ci，每一个轮廓都是一个多边形，且由像素序列组成，得到的手部特征点轮廓集合C表示如下：C＝findContours(Ht(x,y))＝{Ci}(1)利用drawContours()函数将查找到的轮廓绘制出来；3)利用道格拉斯-普克算法对指定的点集进行逼近，找出轮廓的多边形拟合曲线并画出手部的拟合曲线；对每一条曲线的首末点虚连一条直线，求所有点与直线的距离，并找出最大距离值dmax，用dmax与限差D相比：若dmax＜D,这条曲线上的中间点全部舍去；若dmax≥D，保留dmax对应的坐标点，并以该点为界，把曲线分为两部分，对这两部分重复使用本方法；步骤3、利用convexHull()函数检索上述步骤得到的最大面积值的轮廓Cmax的凸包壳hull，并分析获得手的凸包点；步骤4、对获得凸包点处求曲率，根据手腕处的曲率和指尖的曲率的不同，设置合适的阈值将手腕处的凸包点去除；1)取手部轮廓上一点，取轮廓上点p的前M个点q和点p的后继第M个点r，那么p点的曲率可以用向量和的夹角α的余弦值来表示；p点曲率的值可表示如下：(2)2)采取一个阈值L来判断类指尖点，将曲率大于等于L的像素点筛选出来，作为指尖点；步骤5：手指两侧的曲线可以近似是一组平行线，对步骤4获得的满足条件的p点再对其向前取10个像素点，向后取10个像素点，根据公式(2)求得p点处的夹角，采取合适的阈值范围，从而排除手指弯曲时误判为指尖点的情况；通过上述步骤即可完成基于Kinect深度信息的指尖检测。2CN107885327A说明书1/3页一种基于Kinect深度信息的指尖检测方法技术领域[0001]本发明涉及一种基于深度信息的指尖检测方法，属于人机交互技术领域。背景技术[0002]随着人机交互技术的发展，自然的交互方式成为人机交互技术的发展方向。近年来，无需佩戴辅助设备，使用人手进行自然、直观的交互，逐渐成为该领域的研究热点。[0003]实现人手自然交互的关键在于手势的准确识别。目前，不借助穿戴辅助设备的手势识别方法主要包括基于彩色相机的和基于深度传感器的方法。基于彩色相机的手势识别容易