一种基于改进胶囊网络与算法的手势图像分割与识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110032925A(43)申请公布日2019.07.19(21)申请号201910130815.4(22)申请日2019.02.22(71)申请人广西师范大学地址541004广西壮族自治区桂林市七星区育才路15号广西师范大学(72)发明人莫伟珑罗晓曙赵书林(74)专利代理机构北京汇捷知识产权代理事务所(普通合伙)11531代理人于鹏(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书9页附图5页(54)发明名称一种基于改进胶囊网络与算法的手势图像分割与识别方法(57)摘要本发明公开了一种基于改进胶囊网络与算法的手势图像分割与识别方法，属于计算机视觉与人工智能技术领域，在复杂背景下用提出的U形残差胶囊网络去掉背景，把手势图像分割出来，然后用图像处理的方法去除噪声并将其二值化图像的手势位置定位出来，第三，将定位出来的手势区域作为掩膜把原图的背景去掉，仅仅保留手势图像，最后将手势图像输入到改进的矩阵胶囊网络，采用改进算法进行识别。改进算法比U-Net算法大大降低了参数量，提高了手势图像的分割性能，从而提高了手势图像的识别率。CN110032925ACN110032925A权利要求书1/3页1.一种基于改进胶囊网络与算法的手势图像分割与识别方法，其特征在于，所述方法包括如下步骤：步骤1：拍摄和收集复杂背景下的手势图像，对所有图像的手势轮廓进行人工标注并生成标签图，再将原图和标签图进行图像增强处理；步骤2：用经过图像增强后的图像对U型残差胶囊网络进行训练，把复杂背景下的手势图像输入训练好后的U型残差胶囊网络分割出二值化手势图像；步骤3：将步骤2中分割出来的二值化手势图像经过图像定位得到矩形包围框，把包围框所对应的原图和分割图相乘最终得到分割出来的手势图像；步骤4：利用不同手势形状的手势图像训练改进矩阵胶囊网络，输出训练好的改进矩阵胶囊网络模型，将步骤3分割出的手势图像输入改进矩阵胶囊网络模型，使用改进矩阵胶囊网络模型分类出每种不同的手势，实现手势图像的识别。2.根据权利要求1所述的一种基于改进胶囊网络与算法的手势图像分割与识别方法，其特征在于：所述步骤2中U型残差胶囊网络由胶囊卷积层和胶囊残差块组成，U型残差胶囊网络的左侧部分使用胶囊卷积层和胶囊残差块对图像进行提取深层特征，U型残差胶囊网络的下面使用两个胶囊残差块作为中间层，U型残差胶囊网络的右侧部分使用胶囊反卷积层进行上采样放大图像，并把U型残差胶囊网络的左侧提取的特征拼接到右侧再进行提取特征，最终输出端还原回原图像大小的手势分割图；所述胶囊卷积层的原理算式为：ui|j＝wijui(1)式中输入胶囊ui进乘以姿态调节向量wij得ui|j；动态路由公式为：bij＝bij+ui|j·vj(5)其中，cij为动态路由耦合系数(即概率向量)，bij初始化为0，sj是所有预测向量和概率向量的加权之和；将公式(1)带入动态路由公式(2-5)循环训练3次；所述胶囊残差块由两块胶囊卷积层组成，先把输入进行批标准化，再输入到两个胶囊卷积层，第二层胶囊卷积层输出后再进行批标准化，两路输出相加再输出结果。3.根据权利要求1所述的一种基于改进胶囊网络与算法的手势图像分割与识别方法，其特征在于：所述步骤3中图像定位的具体过程为先进行图像模糊去噪，用9*9内核的低通滤波器平滑图像，每个像素替换为该像素周围像素的均值，去除分割图的噪声，然后图腐蚀去斑处理去除大点的白色斑块，算出腐蚀剩下目标的轮廓区域，根据轮廓区域求得最大边2CN110032925A权利要求书2/3页框，根据最大边框裁剪出原图和二值化图，最终将这两图合并得到彩色手势图像。4.根据权利要求1所述的一种基于改进胶囊网络与算法的手势图像分割与识别方法，其特征在于：所述步骤4中矩阵胶囊网络普通卷基层、主胶囊层、胶囊卷积层和胶囊分类层组成，矩阵胶囊网络则是把每个神经元向量做成一个n*n大小的姿态矩阵，矩阵胶囊网络最后两层的卷积胶囊层用于实现卷积、姿态变换以及以EM动态路由三个步骤，使用EM算法实现了聚类过程，E步具体算式为：其中，xi为输入的投票向量，aj代表为第j类的高斯混合系数，代表数据xi在第j类的高斯分布，分母代表k个混合高斯分布之和，最终求得后验概率p(j|xi)；M步的公式为：由公式(7-8)实现了按样本加权平均来估计第j类的均值，由公式(7-9)求得方差值，并由一下公式求得熵costj，若熵值越小则属于第j类，使用sigmoid函数将值压缩到0到1之间作为激活函数，即高斯混合系数：aj＝sigmoid(λ(βa-costj))(11)式中选择加入λ是退火策略，该值作为温度值的倒数，随着训练次数的增加，温度下降