一种基于深度信息的手势识别方法.pdf

(19)中华人民共和国国家知识产权局*CN102789568A*(12)发明专利申请(10)申请公布号CN102789568A(43)申请公布日2012.11.21(21)申请号201210242290.1(22)申请日2012.07.13(71)申请人浙江捷尚视觉科技有限公司地址310013浙江省杭州市西湖区天目山路398号尚坤大厦四楼南座(72)发明人尚凌辉张兆生贺磊盈余天明高勇(74)专利代理机构杭州求是专利事务所有限公司33200代理人杜军(51)Int.Cl.G06K7/00(2006.01)权利要求书权利要求书1页1页说明书说明书33页页附图附图11页(54)发明名称一种基于深度信息的手势识别方法(57)摘要本发明涉及一种基于深度信息的手势识别方法。现有方法在实际应用环境和用户体验上均存在着一定的问题。本发明首先获取实时的深度图像，背景建模后获得背景图像，利用背景图像和当前图像作差分，检测出前景区域。其次对建立的背景图像进行更新，并以提取出独立的人体区域。然后在每个独立的人体区域上检测出手部区域、轮廓信息；获取手部跟踪的运动轨迹。最后利用隐马尔科夫模型对运动轨迹进行建模，识别出手势。本发明能够适应肤色变化的干扰，在室内环境下不受距离、光照、遮挡、运动等因素的影响，算法计算量小，实时性高。CN10278956ACN102789568A权利要求书1/1页1.一种基于深度信息的手势识别方法，其特征在于该方法包括以下步骤：步骤1：从可输出深度信息的双目摄像机中获取实时的深度图像，对深度图像使用混合高斯的背景建模方法获得背景图像；步骤2：利用背景图像和当前图像作差分，检测出前景区域；步骤3：利用双背景更新方法对建立的背景图像进行更新；步骤4：通过统计方法学习人体形态的模型，并根据人体模型对检测出的区域进行分割，以提取出独立的人体区域；步骤5：通过统计方法学习手部模型的分类器，在每个独立的人体区域上检测出手部区域、轮廓信息；若能够检测出手部区域，则执行步骤6，若检测不到手部区域，则跳转至步骤1；步骤6：通过手部的运动状态利用自回归模型对手部运动进行预测，基于预测位置，以手部区域的深度信息为特征，利用面积加权均值偏移方法跟踪手部，获取手部跟踪的运动轨迹；步骤7：利用隐马尔科夫模型对运动轨迹进行建模，从而识别出手势；所述的手势包括水平方向的单手运动、水平方向的双手运动、垂直方向的双手运动和单个阿拉伯数字单手绘制运动。2.根据权利要求1所述的一种基于深度信息的手势识别方法，其特征在于：步骤1中的混合高斯方法采用三个高斯核。3.根据权利要求1所述的一种基于深度信息的手势识别方法，其特征在于：步骤4具体是：收集人体样本，采用随机森林分类器学习出人体形态的模型；在实时处理时，首先对前景区域进行垂直投影，得到投影直方图；统计投影直方图，估计出人体的数目和位置；然后利用该位置和数目作为初始，基于人体形态的模型、占用前景的概率和未占用前景的概率作为约束，利用马尔科夫链蒙特卡洛方法搜索出最优的人体数目和位置，以确定独立的人体区域。4.根据权利要求1所述的一种基于深度信息的手势识别方法，其特征在于：步骤5中检测手部区域的具体方法为：设待定位的手部自然伸展且位于身体之前，因此在深度图像上手部的视差大于身体且在已知的范围内，通过收集人体样本，并获取对应的深度图，采用随机森林分类器学习出人体与手部视差的分布概率以用于从深度图上分割出手部区域。5.根据权利要求4所述的一种基于深度信息的手势识别方法，其特征在于：根据手臂与手的连贯性和人体的对称性可定位出左右手的位置，且有效滤除其它接近的运动物体或其它人体的手部。6.根据权利要求1所述的一种基于深度信息的手势识别方法，其特征在于：步骤6中的自回归模型采用三次恒加速多项式，利用该模型对手势运动进行预测，基于预测的位置进行跟踪搜索出最佳位置，并更新目标轨迹，以修正预测误差。7.根据权利要求1所述的一种基于深度信息的手势识别方法，其特征在于：所述的隐马尔科夫模型建立过程中采用Baum-Welch算法进行训练，模型中状态的长度为5。2CN102789568A说明书1/3页一种基于深度信息的手势识别方法技术领域[0001]本发明属于人机交互技术领域，涉及一种基于深度信息的手势识别方法。背景技术[0002]近年来手势识别技术取得了快速的发展。基于单摄像机的手势识别、基于双摄像机的手势识、微软的kinect手势识别已相继出现在家电控制、游戏控制等应用领域，然而在实际应用环境和用户体验上均存在着一定的问题，主要表现在：单摄像机下存在的多人体或手势出现遮挡时，手部无法准确定位，导致识别率较低；如专利《基于视觉的静态手势识别方法》、《互动系统中的动态手势识别方法》等；单摄像机与双摄像机下的方法主要以人体的肤色、大小和运动等信息作