一种基于Kinect的手势追踪和精准指尖定位系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110794956A(43)申请公布日2020.02.14(21)申请号201910530111.6(22)申请日2019.06.19(71)申请人南京邮电大学地址210003江苏省南京市鼓楼区新模范马路66号(72)发明人吕倩葛文潇魏昕陈建新(74)专利代理机构南京苏科专利代理有限责任公司32102代理人牛莉莉(51)Int.Cl.G06F3/01(2006.01)权利要求书1页说明书4页附图3页(54)发明名称一种基于Kinect的手势追踪和精准指尖定位系统(57)摘要本发明涉及一种基于Kinect的手势追踪和精准指尖定位方法，该方法提高了手部无序运动的追踪质量和指尖定位的精准性。以Kinect为例，该方法包括从中读取深度信息，通过骨骼数据的辅助，采用前向运动学完成对于手部骨骼信息的遮挡修复。对得到优化后的骨骼关节点信息后，采用卡尔曼滤波算法，对追踪的手掌的运动信息进行平滑处理；随后，利用实时手掌坐标信息，采取先粗提取后精提取的连通区域分析算法从深度图像中提取出手部区域；最后，获取手部轮廓的凸包，采用分析凸包和掌心点的几何关系的方法滤除指尖近似点，计算曲率值获得精确指尖点。由此实现了对手部的实时追踪，根据实验结果分析，提高了指尖定位的准确性。CN110794956ACN110794956A权利要求书1/1页1.一种基于Kinect的手势追踪和精准指尖定位系统，所述方法包括如下步骤：步骤1：数据处理；从Kinect中读取26个关节点的深度信息和骨骼信息，考虑到手部区域往往存在遮挡，先基于人体骨骼长度的不变性以及运动的连续性对骨骼关节点进行修复，而后采用卡尔曼滤波算法进行平滑处理，得到修正后的掌心点；步骤2：获取手部区域；根据Kinect提供的手掌区域的深度信息，采取先粗提取后精提取的连通区域分析算法将手部区域从深度图像中分离出来，进而获取手部轮廓；步骤3：指尖位置的准确定位；对已获得的手部轮廓，采用快速凸包算法，利用递归的方法排除凸包内部的点；再根据手部凸包缺陷和掌心点之间的几何关系，过滤指尖近似点，最后通过曲率值检测获得精确的指尖位置。2.根据权利要求1所述的基于Kinect的手势追踪和精准指尖定位系统，其特征在于：步骤1中的遮挡修复，是利用人体骨骼长度的不变形以及关节运动的连续性来修复遮挡或错误的关节点，并基于“无拐点”现象对虚假的关节点进行排除。3.根据权利要求1所述的基于Kinect的手势追踪和精准指尖定位系统，其特征在于：所述步骤1中的数据平滑处理是利用卡尔曼滤波器来预测修正掌心点的位置，以减小环境与噪声对系统稳定性的影响。4.根据权利要求1所述的一种基于Kinect的手势追踪和精准指尖定位系统，其特征在于：所述步骤2中的粗提取以步骤1中的卡尔曼滤波算法得到的掌心为中心，以最大关节点间的骨架长度为半径，对所有的像素点进行初步过滤，保留与掌心深度值相近的点。5.根据权利要求4所述的基于Kinect的手势追踪和精准指尖定位系统，其特征在于：提取步骤2中的精提取采用了递归的方式对粗提取后的像素点进行连通性分析，若周围8个像素点中某一点的深度值与当前像素点的深度值差小于一定的阈值，则认为两点连通，并将周围的像素点作为当前像素点，再次与周围的像素点进行比较，逐层递归，直到将手部区域的像素点全部搜索出来。6.根据权利要求1所述的一种基于Kinect的手势追踪和精准指尖定位系统，其特征在于，所述步骤3中的获取手部轮廓区域选择了快速凸包算法，通过遍历轮廓上的每个点，得到两个极端点，将整个凸包划分为上、下两个凸包。7.根据权利要求1所述的的一种基于Kinect的手势追踪和精准指尖定位系统，其特征在于，所述步骤3中的指尖位置的准确获取包括分析手部凸包缺陷与掌心点的几何关系和计算指尖点曲率值。为了提高算法效率，本发明根据手部凸包缺陷与掌心点的几何关系来剔除指尖误差点，其中凸包缺陷点的选择标准是两指尖中间的凸包缺陷最远点。选取曲率值小于60°并且是前后2j个点中曲率值最小的点为准确的指尖点。2CN110794956A说明书1/4页一种基于Kinect的手势追踪和精准指尖定位系统技术领域[0001]本发明一种基于Kinect的手势追踪和精准指尖定位系统，属于基于手部运动信息的人机交互领域。背景技术[0002]随着计算机技术和传感器性能的不断进步，人机交互(Human-ComputerInteraction)技术已发展到以人为核心的自然用户界面(NaturalUserInterface)交互阶段，要求机器能够像人类一样自然的与用户进行交流、互动。而日常中，人类最常用的交流手段是视、听、说的结合，而手部在日常互动过程中起到了至关重要的作用。相应的，基于手部运动的人机交