基于深度学习的手势图像分割与识别方法以及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113780140A(43)申请公布日2021.12.10(21)申请号202111016595.6G06T7/11(2017.01)(22)申请日2021.08.31G06F3/01(2006.01)(71)申请人河北大学地址071002河北省保定市五四东路180号(72)发明人崔振超雷玉齐静杨文柱(74)专利代理机构石家庄国域专利商标事务所有限公司13112代理人胡素梅(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/38(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书11页附图6页(54)发明名称基于深度学习的手势图像分割与识别方法以及装置(57)摘要本发明提供了一种基于深度学习的手势图像分割与识别方法以及装置。本发明中方法首先预处理手势图像，使其图像的大小尺寸固定。其次，在复杂背景中通过密集分割网络密集的连接不同空洞率的空洞卷积获取在不同视野上的手势多尺度信息，以提高特征表述的精确性。另外，为了融合不同层级上的细节和空间位置信息，提升整体网络的分割性能，密集分割网络采用编码器‑解码器结构，去掉了冗余的背景信息，实现了手势图像的精准分割。最后将仅仅保留手势图像的掩膜图输入到手势识别网络中，采用改进算法进行识别。通过本发明可以提高手势图像的分割性能，从而提高手势图像的识别率。CN113780140ACN113780140A权利要求书1/3页1.一种基于深度学习的手势图像分割与识别方法，其特征是，包括如下步骤：a、对输入的手势图像进行重置大小操作，使图像大小尺寸固定；b、把步骤a中手势图像输入到密集分割网络中，以此对密集分割网络进行训练，训练好后得到密集分割网络模型；所述密集分割网络包括编码器和和解码器；编码器又包括深度卷积神经网络模块和改进型空洞空间金字塔池化模块；所述改进型空洞空间金字塔池化模块包括并行和级联两种模式；在并行模式下，使用不同的空洞率对输入的特征图进行特征编码，以获取手势的多尺度信息；在级联模式中，除第一层、第二层之外的每一层都将并行模式的输出串联上一层的输出；然后再采用不同空洞率的反卷积，自下而上地与并行模式的输出相连接；c、采用训练好的密集分割网络模型对手势图像进行分割，并对分割结果进行二值化处理；d、将分割出的二值化手势图像输入到手势识别网络中，利用不同手势形状的手势图像训练手势识别网络，训练好后得到手势识别网络模型；e、采用训练好的手势识别网络模型分类出不同形状的手势，实现手势图像的识别。2.根据权利要求1所述的基于深度学习的手势图像分割与识别方法，其特征是，步骤b中，在并行模式中，使用的空洞率为{20,21,22,...,2n}的空洞卷积，其中一共包括n+1个空洞卷积对特征图进行多尺度特征提取。3.根据权利要求2所述的基于深度学习的手势图像分割与识别方法，其特征是，取n＝4，并行模式的输出见下式：0124其中，x表示输入的特征图，d表示空洞率为{2,2,2,…,2}的数组，Hk,d(x)表示卷积核大小为k、空洞率为d的空洞卷积，oi表示5个并行模式的输出，从上到下依次为o0、o1、o2、o3、o4；级联模式的输出见下式：pi表示级联模式的输出，表示不同尺度的特征在通道上进行拼接；采用不同空洞率的反卷积，自下而上地与并行模式的输出相连接，反卷积的具体公式如下：式中，qj表示反卷积之后的输出，y表示改进型空洞空间金字塔池化模块的输出，DH3,d[j]2CN113780140A权利要求书2/3页表示卷积核为3，空洞率为d的反卷积。4.根据权利要求1所述的基于深度学习的手势图像分割与识别方法，其特征是，步骤b中，所述深度卷积神经网络模块包括一个7×7的卷积核、一个3×3的卷积核以及4个残差组。5.根据权利要求4所述的基于深度学习的手势图像分割与识别方法，其特征是，4个残差组分别如下：第一个残差组共有3个残差块，每个残差块有3层，分别是1×1×64的卷积核、3×3×64的卷积核、1×1×256的卷积核，共9层，空洞率d＝1，步长s＝2；第二个残差组共有4个残差块，每个残差块有3层，分别是1×1×128的卷积核、3×3×128的卷积核、1×1×512的卷积核，共12层，空洞率d＝1，步长s＝1；第三个残差组共有6个残差块，每个残差块有3层，分别是1×1×256的卷积核、3×3×256的卷积核、1×1×1024的卷积核，共18层，空洞率d＝2，步长s＝1；第四个残差组共有3个残差块，每个残差块有3层，分别是1×1×512的卷积核、3×3×512的卷积核、1×1×2048的卷积核，共9层，空洞率