一种基于深度图的手部跟踪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109977740A(43)申请公布日2019.07.05(21)申请号201711468192.9G06F3/01(2006.01)(22)申请日2017.12.28(71)申请人沈阳新松机器人自动化股份有限公司地址110168辽宁省沈阳市浑南新区金辉街16号(72)发明人曲道奎邹风山徐方宋健姜楠王晓东(74)专利代理机构沈阳科苑专利商标代理有限公司21002代理人许宗富(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06T11/40(2006.01)权利要求书2页说明书5页附图5页(54)发明名称一种基于深度图的手部跟踪方法(57)摘要本发明实施例公开一种基于深度图的手部跟踪的方法。该方法包括步骤：对深度图像进行逐行扫描，记录每行中深度值连续的行线段，并标记出符合预设条件的行线段；对行扫描后的标记图像进行逐列扫描，将符合预设条件的相邻两条标记点形成的列线段进行标记和连接；对行扫描和列扫描后的标记图像中的团块进行轮廓提取，将每个团块的最高点作为种子点进行局部邻近填充，取填充所有点的重心作为相应团块的当前深度图像帧的空间坐标；根据空间最临近原则，对相邻两帧的团块进行匹配，得到团块的轨迹。本发明实施例所提供的方法可利用图像深度信息且不受光照因素影响，又能增强人机交互体验感。CN109977740ACN109977740A权利要求书1/2页1.一种基于深度图的手部跟踪的方法，其特征在于，所述方法包括步骤：步骤S11：对深度图像进行逐行扫描，记录每行中深度值连续的行线段，并标记出符合预设条件的行线段；步骤S12：对行扫描后的标记图像进行逐列扫描，将符合预设条件的相邻两条标记点形成的列线段进行标记和连接；步骤S13：对行扫描和列扫描后的标记图像中的团块进行轮廓提取，将每个团块的最高点作为种子点进行局部邻近填充，取填充所有点的重心作为相应团块的当前深度图像帧的空间坐标；步骤S14：根据空间最临近原则，对相邻两帧的团块进行匹配，得到团块的轨迹。2.根据权利要求1所述的一种基于深度图的手部跟踪的方法，其特征在于，所述深度值连续的条件为两个相邻像素的深度值之差小于等于100毫米。3.根据权利要求1所述的一种基于深度图的手部跟踪的方法，其特征在于，所述预设条件的判断包括步骤：步骤S21：判断行线段最左侧像素的深度值是否小于其左临像素的深度值，判断行线段最右侧像素的深度值是否小于其右临像素的深度值；若是，进入步骤S22，否则判断所述行线段不符合预设条件；步骤S22：计算所述行线段所有像素的深度平均值，获取深度传感器在标定所述深度平均值下的标定行线段长度；步骤S23：判断所述标定行线段长度与手部经验长度的差值是否小于二分之一的手部经验长度，若是则判断所述行线段符合预设条件，否则判断所述行线段不符合预设条件。4.根据权利要求3所述的一种基于深度图的手部跟踪的方法，其特征在于，所述手部经验长度为100毫米。5.根据权利要求1所述的一种基于深度图的手部跟踪的方法，其特征在于，在逐列扫描时，遇到标记像素开始记录，遇到非标记像素停止记录，形成列线段。6.根据权利要求5所述的一种基于深度图的手部跟踪的方法，其特征在于，第一列线段和其相邻的第二列线段需要连接的判断条件如下：步骤S31：定义第一列线段的尾像素的下一个像素的深度值为pDown，定义第二列线段的头像素的上一个像素的深度值为pUp；步骤S32：判断pDown和pUp是否至少一个处于有效范围内，若pDown和pUp至少一个处于有效范围则进入步骤S33，否则判断第一列线段和其相邻的第二列线段不需要连接；步骤S33：判断pDown和pUp深度差是否小于预定深度阈值，若是则进入步骤S34，否则判断第一列线段和其相邻的第二列线段不需要连接；步骤S34：判断第一列线段和第二列线段之间的像素长度是否小于预设像素长度，若是则进入步骤S35，否则判断第一列线段和其相邻的第二列线段不需要连接；步骤S35：判断第一列线段和第二列线段的长度是否同时分别大于预定最小长度值，若是则判断第一列线段和其相邻的第二列线段需要连接，否则判断第一列线段和其相邻的第二列线段不需要连接。7.根据权利要求6所述的一种基于深度图的手部跟踪的方法，其特征在于，所述步骤S33中的预定深度阈值为55毫米。2CN109977740A权利要求书2/2页8.根据权利要求6所述的一种基于深度图的手部跟踪的方法，其特征在于，当pDown和pUp都处于有效范围内时，所述步骤S34中的预设像素长度为2；当pDown和pUp只有一个处于有效范围内时，所述步骤S34中的预设像素长度为20。9.根据权利要求1所述的一种基于深度图的手部跟踪的方法，其特征在