一种用于增强现实辅助维修的动态手势识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105975934A(43)申请公布日2016.09.28(21)申请号201610292968.5(22)申请日2016.05.05(71)申请人中国人民解放军63908部队地址050000河北省石家庄市北新街169号(72)发明人张勇周斌李欣马东玺王伟明赵守伟(74)专利代理机构石家庄国域专利商标事务所有限公司13112代理人胡素梅胡澎(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书12页附图4页(54)发明名称一种用于增强现实辅助维修的动态手势识别方法及系统(57)摘要本发明提供了一种用于增强现实辅助维修的动态手势识别方法及系统。该方法包括如下步骤：采集动态手势的视频图像以作为测试样本；根据肤色范围法对测试样本中的每一帧图像进行手势和背景的分割；从测试样本的所有图像中，找出动态手势的指尖运动轨迹，并根据动态手势的指尖运动轨迹构建动态手势特征向量；动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量；将动态手势特征向量送入支持向量机，由支持向量机中的分类器进行手势识别，获得动态手势的最优分类解。本发明将指尖运动轨迹以离散的移动方向表示，使时间上的指尖位置数据转换为空间上的方向数据并保留了动态手势的主要特征，从而有助于动态手势的快速准确识别。CN105975934ACN105975934A权利要求书1/3页1.一种用于增强现实辅助维修的动态手势识别方法，其特征是，包括如下步骤：a、采集动态手势的视频图像，作为测试样本；每一个测试样本中均包括若干帧按序排列的图像；b、对测试样本中的每一帧图像进行手势和背景的分割；具体是：在每一帧图像中，若像素点在YCbCr颜色空间中的Cb值处于[120,145]之间，且Cr值处于[145,180]之间，则该像素点为肤色点；否则该像素点为背景点；由相邻肤色点连通构成的最大连通区域即为手势区域，将手势区域从图像中分割出来，即实现手势和背景的分割；c、从测试样本的所有图像帧序列中，找出动态手势的指尖运动轨迹，并根据动态手势的指尖运动轨迹构建动态手势特征向量；所构建的动态手势特征向量中的每一分量为相邻两帧图像中指尖连线构成的方向向量；d、将动态手势特征向量送入支持向量机，由支持向量机中的分类器进行手势识别，获得动态手势的最优分类解。2.根据权利要求1所述的用于增强现实辅助维修的动态手势识别方法，其特征是，步骤d中支持向量机中的分类器是通过如下步骤形成的：①、建立动态手势库；动态手势库中包含若干视频图像，动态手势库中的每一个视频图像所对应的动态手势为指尖“向上”、“向下”、“向左”或“向右”的动态手势；②、依照步骤b中手势和背景分割方法对动态手势库中每一个视频图像中的所有图像帧序列分别进行手势和背景的分割；③、依照步骤c中方法构建与动态手势库中每一个视频图像对应的动态手势特征向量；④、采用一对一方法构造二元分类器，共得到6个二元分类器；并通过K折交叉验证方法确定每一个分类器的惩罚系数及核函数参数。3.根据权利要求2所述的用于增强现实辅助维修的动态手势识别方法，其特征是，步骤①具体包括如下步骤：首先，以迷彩装或电路板作为辅助维修操作的基本背景；其次，在晴朗室内正午、晴朗室外正午、晴朗室内下午三种不同光照条件下对十位采集者进行动态手势采集，对每位采集者均采集指尖“向上”、“向下”、“向左”和“向右”四种动态手势各十次，共得到三种不同光照条件下的1200个视频图像。4.根据权利要求1所述的用于增强现实辅助维修的动态手势识别方法，其特征是，步骤c中，从测试样本中所有图像帧序列中，找出动态手势的指尖运动轨迹，具体是：①、在测试样本的每一帧图像中，分别找出手势中的指尖，并确定指尖在对应帧图像中的坐标；②、在测试样本的每一帧图像中均设定一个矩形的预设检测区域L，该预设检测区域L的四个顶点坐标分别为(a1,b1)、(a2,b1)、(a1,b2)及(a2,b2)，其中a1＜a2，b1＜b2；③、设动态手势中指尖在预设检测区域L内的起始点坐标为(xstart,ystart)，终止点坐标为(xend,yend)，并对起始点坐标和终止点坐标进行初始化，即：使(xstart,ystart)＝(0,0)，(xend,yend)＝(0,0)；④、依序对测试样本的每一帧图像中指尖的位置(xi,yi)进行跟踪、判断，确定起始点位置：2CN105975934A权利要求书2/3页并记录起始点位置对应的图像帧序号kstart；⑤、继续跟踪、判断图像中指尖的位置，确定终止点位置：并记录终止点位置对应的图像帧序号kend；⑥、测试样本中序号处于kstart和kend之间的图像中指尖的运动轨迹即为