一种基于双目立体数据动态认知的手势识别方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111435429A(43)申请公布日2020.07.21(21)申请号201910033845.3(22)申请日2019.01.15(71)申请人北京伟景智能科技有限公司地址100094北京市海淀区北清路81号一区3号楼6层603(72)发明人董霄剑曾洪庆(51)Int.Cl.G06K9/00(2006.01)G06T7/13(2017.01)G06T7/80(2017.01)权利要求书2页说明书3页附图1页(54)发明名称一种基于双目立体数据动态认知的手势识别方法及系统(57)摘要一种基于双目立体数据动态认知的手势识别方法及系统，包括图像采集模块、轮廓数据处理模块、手势数据处理模块、手势识别模块。针对目前手势识别技术在复杂环境下识别率低的问题，通过双目可见光的立体智能认知方法可对目标手势进行精确识别，可增加红外线补光灯，对于纹理很弱、边界模糊的手势也能有较好的识别效果，使得烟雾、高温、黑暗等特殊环境下也能很好地工作；根据逻辑分段特征及色彩特征获取手部轮廓，手部轮廓获取更准确；采用深度学习技术对手势进行识别训练，使得手势识别成功率更高。CN111435429ACN111435429A权利要求书1/2页1.一种基于双目立体数据动态认知的手势识别方法，其特征在于，具体包括以下步骤：(1)设置双目摄像头，对双目摄像头进行立体标定；(2)左右摄像头分别摄取左右图像；(3)利用左右摄像头所摄取的图像进行边缘计算得出图像中所有物体的轮廓；(4)根据逻辑分段特征及色彩特征从得到的物体轮廓中分离出手部轮廓；(5)对已完成逻辑分段的手部轮廓进行左右匹配得到三维特征向量；(6)取相机所摄连续多帧图片提取的三维特征向量，作为手势识别深度学习模型的输入，对手势特征识别进行训练；(7)利用训练好的手势识别深度学习模型进行手势特征识别，判读手势含义。2.根据权利要求1所述的方法，其特征在于，对双目摄像头进行立体标定是指：双目立体视觉根据光学三角法获取物体的三维信息，其关键是精确标定双目系统获得内外参数，匹配空间点分别在两个相机成像面上的像素坐标，根据视差原理计算深度信息，为了获取被测物到两个相机图像平面的成像关系和两个相机之间的位置关系，需要在测量前对系统进行标定。3.根据权利要求1所述的方法，其特征在于，对双目摄像头进行立体标定的方法包括：对双目相机的左右摄像机分别标定，获得两个摄像机内参矩阵A，外参矩阵[RT]；旋转矩阵R是两个坐标系统的三组对应坐标轴之间的夹角函数，平移向量T是世界坐标系原点到摄像机平面原点位置偏差；再根据下式得出两相机之间的旋转矩阵R和平移向量T：其中，Rr为左相机的旋转矩阵，R1为右相机的旋转矩阵，T1为左相机的平移向量，Tr为右相机的平移向量。4.根据权利要求1所述的方法，其特征在于，计算得出图像中所有物体的轮廓所用方法包括：使用双目摄像头拍摄得到物体左右图像，利用边缘检测算法计算出所有图像中物体的轮廓。5.根据权利要求4所述的边缘检测算法，其特征在于，所用边缘检测算法可以是Sobel边缘检测算法，可以是Canny边缘检测算法，也可以是基于支持向量机(SVM)的边缘检测算法。6.根据权利要求1所述的方法，其特征在于，分离出手部轮廓的方法包括：首先根据手部色彩特征，在HSV彩色空间中进行肤色检验，将所摄图像转换至HSV格式，并将其分离至HSV三个通道，根据色度和饱和度分割图像，将符合手部色彩特征的图像分割出来；由于背景中存在类肤色信息，利用该方法分割得到的手部候选区域较多，为了进一步确定手部轮廓，利用逻辑分段特征对手部轮廓进行确定，即：在经上述步骤后得到的轮廓中利用线段的直线特性和弧线特性进行分段，将轮廓线分段为直线段与弧线段，其中手部轮廓在分段时指尖及指缝分段为弧线段，指侧沿分段为直线段，利用分类器对完成逻辑分段的轮廓线段进行分类筛选，筛选出符合手部轮廓的弧线段及直线段，同时根据手部色彩特征，最终分离出手部轮廓。2CN111435429A权利要求书2/2页7.根据权利要求6所述的分类器，其特征在于，所述分类器可以是基于支持向量机(SVM)的分类器，也可以是基于深度学习的分类模型。8.根据权利要求1所述的方法，其特征在于，得到三维特征向量的方法包括：手部轮廓经逻辑分段及分类器的分类筛选后，得到符合手部轮廓特征的弧线段及直线段，提取弧线段及直线段的特征向量得到手部轮廓的指尖、指侧沿、指缝的特征向量，经左右匹配后得到三维特征向量。9.根据权利要求1所述的方法，其特征在于，对手势特征识别进行训练包括：从相机所摄连续多帧图片中分别提取出手部轮廓的三维特征向量，将得到的特征向量输入到手势识别深度学习模型，建立特征向量的变化与手势的对应关系，对模型进行手势特征识