基于双目视觉的IPT模拟训练手势识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110688965A(43)申请公布日2020.01.14(21)申请号201910940491.0G06F3/01(2006.01)(22)申请日2019.09.30(71)申请人北京航空航天大学青岛研究院地址266000山东省青岛市崂山区松岭路393号申请人青岛虚拟现实研究院有限公司(72)发明人严小天于洋王慧青刘训福田学博(74)专利代理机构青岛中天汇智知识产权代理有限公司37241代理人刘晓(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06T7/11(2017.01)权利要求书3页说明书12页附图4页(54)发明名称基于双目视觉的IPT模拟训练手势识别方法(57)摘要本发明公开一种基于双目视觉的IPT模拟训练手势识别方法，根据VR应用的特点改进其交互方式，分别在手势分割、手势跟踪及手势识别三个方面进行创新性改进；手势分割时通过背景建模、目标运动趋势估计等方法来补偿由于运动模糊产生的前景分割图像中目标丢失现象，手势跟踪时利用色度信息和深度信息的组合，通过轮廓拟合实现在操作飞行模拟器时的运动手势的跟踪，手势识别时提出扩展Haar-like特征和改进的Adaboost方法并用于手形分类，并定义“状态区”，获得了良好的动态手势识别率，提高了操作时的使用体验，使操作人员能够精准的查看操作时的手部动作，有效提高操作训练效率，降低训练成本。CN110688965ACN110688965A权利要求书1/3页1.基于双目视觉的IPT模拟训练手势识别方法，其特征在于，包括以下步骤：步骤1、图像采集：采集待识别手势的左右图像对，并对其进行滤波和降噪处理以获得高清图像；步骤2、手势分割：基于双目视觉技术对步骤1所采集的左右图像对进行处理，以获得其深度信息，并基于Codebook背景建模算法从高清图像中分割出运动过程中的手部图像；步骤3、手势跟踪：对分割出的手部图像进行轮廓提取，并采用基于轮廓的LevelSets算法进行手部轮廓曲线拟合，得到手部的三维位姿信息；步骤4、手势识别：基于改进Haar-like特征和Adaboost算法对手势跟踪得到的手形信息进行分类，得到手形的类别信息，并定义“状态区”将动态手势转换为不同模式的状态变化串实现手势动态识别；步骤5、虚实交互：将手势识别得到的手势类别信息作为指令和虚拟环境中的物体进行交互，进而驱动虚拟手进行相应的位姿变化，实现IPT训练模拟。2.根据权利要求1所述的基于双目视觉的IPT模拟训练手势识别方法，其特征在于：所述步骤2中进行手势分割时具体采用以下方式：步骤21、获取深度图像：对采集的左右图像对进行立体校正，得到校正后的立体图像对，然后基于立体匹配和三角计算得到深度图像；步骤22、获取前景掩码图：首先选择至少一帧左图像建立CodeBook背景模型，并检测前景，即运动中的手部；然后更新CodeBook背景模型，并对CodeBook背景模型进行过滤，得到前景掩码图；步骤23、获取深度前景图像和深度缺失图像：通过深度图像和参照物所在的位置的深度信息生成深度前景图像和深度缺失图像；步骤24、获取动态深度缺失图像：通过获取的前景掩码图和深度缺失图像进行“与”运算，得到动态深度缺失图像；步骤25、获取并更新动态屏蔽图像：通过对加入动态深度缺失图像中的每个像素在序列帧中出现的时间顺序进行计数以获取动态屏蔽图像，并将动态屏蔽图像中所有不小于“0”的像素点的值减去1来更新动态屏蔽图像；步骤26、获取运动补偿图像：通过动态深度缺失图像和动态屏蔽图像获取运动补偿图像：若动态深度缺失图像任一位置像素的值为“1”，且动态屏蔽图像中对应位置像素的值等于“0”，则运动补偿图像所对应位置像素的值赋为“1”，同时将动态屏蔽图像中对应的位置的值设为阈值C，其中，C大于0；若动态深度缺失图像任一位置像素的值为“1”，且动态屏蔽图像中对应位置像素的值不等于“0”，则运动补偿图像所对应位置像素的值为“0”，同时将动态屏蔽图像中对应位置像素的值同样设为阈值C；若动态深度缺失图像所对应的位置的值为“0”，则运动补偿图像所对应位置赋为“0”，动态屏蔽图像中对应位置像素的值维持原值；步骤27、计算被跟踪目标的深度信息，计算并标记前景运动行：逐行扫描深度前景图像，找到像素值连续为“1”的串，记录该行最长串的特征，并将该行标记为“前景运动行”，通过深度图获取该行中存在的跟踪目标深度信息；2CN110688965A权利要求书2/3页步骤28、计算被跟踪目标的缺失的深度信息，生成运动补偿候补集合L；步骤29、补偿深度前景图像：在运动补偿候补集合L中，筛选出与第k-1帧处理后得到的对应行的结果最为相似的特征值，并将其作为图像缺失补