一种基于手势关键点的动态手势识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107679512A(43)申请公布日2018.02.09(21)申请号201710983280.6(22)申请日2017.10.20(71)申请人济南大学地址250022山东省济南市市中区南辛庄路336号济南大学信息学院(72)发明人冯志全蔡萌萌赵永国陈乃阔(74)专利代理机构北京中索知识产权代理有限公司11640代理人商金婷(51)Int.Cl.G06K9/00(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种基于手势关键点的动态手势识别方法(57)摘要本发明提供了一种基于手势关键点的动态手势识别方法，属于计算机手势识别领域。其特征在于：所述方法通过逆时针获取人手的轮廓点坐标，进而确定手指指尖和指根的位置，根据指尖和指根的运动方向、距离和角度来识别常用的动态手势；所述动态手势包括：抓取，释放，平移，顺时针旋转，逆时针旋转以及前推。本发明提出了一种基于指尖的位置，距离和方向的动态手势识别算法。它可以避免内腔的手势和外部噪声的识别冲击。经过大量实验，本发明可以识别抓握，放置，顺时针旋转，逆时针旋转，以及四个方向的平移和向前推动态手势识别率为96％。CN107679512ACN107679512A权利要求书1/2页1.一种基于手势关键点的动态手势识别方法，其特征在于：所述方法通过逆时针获取人手的轮廓点坐标，进而确定手指指尖和指根的位置，根据指尖和指根的运动方向、距离和角度来识别常用的动态手势；所述动态手势包括：抓取，释放，平移，顺时针旋转，逆时针旋转以及前推。2.根据权利要求1所述的基于手势关键点的动态手势识别方法，其特征在于：所述方法包括：第一步，从普通摄像头下获取一帧图像；第二步，利用肤色模型法分割图像并对图像进行二值化，如果第i行j列处的像素点为肤色点，那么f(i,j)＝1；第三步，计算二值化后的图像的质心坐标，逆时针获得手势轮廓上的点的坐标，并记录轮廓的长度C；第四步，计算手指的数量，找到指尖和根的位置记录为P1i和P2i，计算相邻指尖之间的距离记录为H1(i,i+1)，计算相邻指根之间的距离记录为H2(i,i+1)，计算指根和相邻指尖之间的距离记录为H12(i,i+1),H21(i,i)，记录中指尖及其两根根的坐标，计算横轴与连接中指中心和质心坐标的线之间的逆时针角度；第五步，根据二叉决策树，识别动态手势。3.根据权利要求2所述的基于手势关键点的动态手势识别方法，其特征在于：所述第三步中的计算二值化后的图像的质心坐标是这样实现的：根据质心坐标公式计算质心坐标：其中xo是质心点的横坐标，yo是质心点的纵坐标；f(i,j)为坐标点(i，j)处的值，其中i表示行,j表示列，如果第i行j列处的像素点是肤色点，则f(i,j)＝1。4.根据权利要求3所述的基于手势关键点的动态手势识别方法，其特征在于：所述第三步中的逆时针获得手势轮廓上的点的坐标是这样实现的：步骤1：确定起点位置：从手势包围盒的左下方两行开始，逐行搜索皮肤颜色，记录肤色点的数量N，当N大于10时，将上一行上的第一个肤色点标记为起点Pstart，将起点的坐标复制给点X；步骤2：确定初始方向：搜索当前点X的8个邻域像素，如果右下角为背景点，从0的位置开始逆时针搜索8个邻域，直到搜索到第一个肤色点的位置，并将该位赋值给d；如果右下方是肤色点，逆时针从0的位置搜索8个邻域，记录8个邻域中的多个连续背景点的最后一个位置，并将该位置的下一个位置复制到d，如果背景点被分成相等的两份，取第一个背景点所在的位置的下一个位置赋值给d，从而获得初始方向d；步骤3：确定下一个点的位置：将d处的坐标复制到当前点X，并且从d-2的位置开始搜索X的8邻域，直到搜索第一肤色点P，记录P的位置d'；步骤4：将d'复制到d，然后重复步骤3，直到运动点P与起始点Pstart重合；步骤5：计录边缘点数N，判断次数N是否大于70，如果大于则结束搜索；如果小于，则搜索行将向上移动5行，并且将计数N分配给0，重新开始第一步。直到N大于70结束搜索。2CN107679512A权利要求书2/2页5.根据权利要求4所述的基于手势关键点的动态手势识别方法，其特征在于：所述第五步是这样实现的：条件C1：判断手指数目是否突变，如果突变，则如果数目变小，则手指数目突变状态S3＝1表示释放，并返回第一步；如果数目变大则S3＝2，表示抓住，并返回第一步；如果数目不变，则判断右分支；条件C2：判断当前手指的数量，如果等于5，进入左分支，否则进入右分支；条件C3：判断是否向前推进，如果质心坐标变化不大，轮廓长度突然变化，则状态S0＝1表示向前推进，并返回第一步；否则判断右分支；条件C4：判断人员是否平移，如果变化大，则计算手的移动方向，