一种基于卷积神经网络的手掌关键点定位方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108537203A(43)申请公布日2018.09.14(21)申请号201810363953.2(22)申请日2018.04.22(71)申请人广州麦仑信息科技有限公司地址510665广东省广州市高新技术产业开发区科学城科学大道8号自编五栋第5层(72)发明人谢清禄余孟春邹向群徐宏锴(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)权利要求书2页说明书5页附图3页(54)发明名称一种基于卷积神经网络的手掌关键点定位方法(57)摘要本发明公开了一种基于卷积神经网络的手掌关键点定位方法，其具体步骤如下：S1、采集手掌图像标记关键点信息，并训练卷积神经网络；S2、收集手指区域图像作为数据集；S3、定位每根手指的6个关键点；S4、定位每根手指的下指节下端关节线段中点与对应手指范围内距离线段中点的指尖端最远点并作为手指的2个关键点；S5、卷积神经网络取相邻的两指下指节下端关节线段中点进行连接，连接线的中点作为手掌关键点。本发明根据上述所述的手掌关键点定位方法，能够快速准确的获得手掌关键点的定位，通过指关节纹线的固定特征结合卷积神经网络自学习的优势进行相关特征点的定位，能够避免仅依靠边缘信息和轮廓特征进行关键点定位的多变性，使定点更加精确。CN108537203ACN108537203A权利要求书1/2页1.一种基于卷积神经网络的手掌关键点定位方法，其特征在于：该基于卷积神经网络的手掌关键点定位方法具体步骤如下：S1、采集手掌图像，并标记关键点信息，作为训练样本集输入到卷积神经网络，对网络进行训练；S2、卷积神经网络的第一层，检测手掌图像，将手掌图像划分为手指区域与掌部区域两部分，并收集手指区域图像作为数据集；S3、第二层对第一层卷积神经网络收集到的手指区域图像数据集进行关键点定位，定位每根手指的6个关键点，并剪裁出4根手指图像作为数据集；S4、卷积神经网络第三层，定位每根手指的下指节下端关节线段中点与对应手指范围内距离线段中点的指尖端最远点，下指节关节线段中点和指尖端最远点作为手指的2个关键点；S5、卷积神经网络取相邻的两指下指节下端关节线段中点进行连接，连接线的中点作为手掌关键点，四指间的3个手掌关键点分别定义为GapB、GapC和GapD。2.根据权利要求1所述的一种基于卷积神经网络的手掌关键点定位方法，其特征在于：步骤S1中的手掌图像通过拍摄设备进行采集，同时利用图像增强技术将图像预处理，使手掌图像符合格式要求，对手掌图像进行关键点标记，作为训练卷积神经网络的样本集输入并训练。3.根据权利要求1所述的一种基于卷积神经网络的手掌关键点定位方法，其特征在于：步骤S1中的卷积神经网络包含卷积层和池化层，卷积层主要用于特征图的计算，池化层主要用于降低特征图的尺寸，同时保持特征图的旋转与平移特性，具体如下：当特征图达到设计的尺寸与层数要求时，将二维的特征图按照顺序排列起来转换为一维的特征向量，最后通过全连接层进行连接并输出，其中，卷积层的运算可表示为：(l,k)(l,k,p)其中，X表示第l层输出的第k组特征图，nl表示第l层特征图的层数，W表示第l-1层中第p组特征图向第l层中第k组特征图映射时所需要的滤波器，第l层的每一组特征图的生成都需要nl-1个滤波器与一个偏置；池化层采用最大值池化方法，特征图像经过最大值池化后的大小会根据步长step缩小至原来的1/step，最大值池化的形式可表示为：其中，X(l+1,k)(m,n)为第l+1层输出的第k组特征图坐标(m,n)处的值，s为池化核的大小，step为池化核移动时的步长，本发明中s与step均设置为2。4.根据权利要求1所述的一种基于卷积神经网络的手掌关键点定位方法，其特征在于：步骤S3中的手指关键点是以指关节纹路下端线段在图像上的两端点作为关键点进行标记，每根手指有3条指关节纹路下端线段，则每根手指可定位得到6个手指区域关键点。5.根据权利要求1所述的一种基于卷积神经网络的手掌关键点定位方法，其特征在于：根据第二层卷积神经网络的输出结果，对每根手指区域估计其旋转角度，将每根手指按照2CN108537203A权利要求书2/2页估计的旋转角度进行矫正，将矫正后的图像收集作为新的训练样本。6.根据权利要求1所述的一种基于卷积神经网络的手掌关键点定位方法，其特征在于：步骤S4所述的关键点是定位到的手指下指节纹路下端线段的中点和对应手指范围内距离线段中点的指尖端最远点，这两点作为手指的2个关键点；所述的手指下指节，自指尖开始，手指关节部位依次定义为上指节、中指节和下指节。7.根据权利要求1所述的一种基于卷积神经网络的手掌关键点定位方法，其特征