步进式卷积神经网络剪枝压缩方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107784360A(43)申请公布日2018.03.09(21)申请号201711021072.4(22)申请日2017.10.27(71)申请人江苏环实科技有限公司地址210000江苏省南京市软件大道180号大数据产业基地4栋405(72)发明人牟星(74)专利代理机构苏州中合知识产权代理事务所(普通合伙)32266代理人龙涛(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书1页说明书3页附图1页(54)发明名称步进式卷积神经网络剪枝压缩方法(57)摘要本发明公开了一种步进式卷积神经网络剪枝压缩方法，利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于当前时刻不重要的神经元，将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算并评估；重新评估过后的所有活动神经元参加下一轮的m次迭代；重复上述过程n次，使学习率随迭代步数进行阶梯式衰减，通过将卷积神经网络中当前时刻不重要的神经元进行剪枝操作，多次迭代后再进行判断，恢复当前时刻重要的神经元，剪枝当前时刻不重要的神经元，重复操作，达到对卷积神经网络进行有效压缩和快速计算的目的。CN107784360ACN107784360A权利要求书1/1页1.一种步进式卷积神经网络剪枝压缩方法，其特征在于，包括：利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于满足公式的神经元，第一次将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算当前神经元和第一次被置零的神经元的L1范数和方差；根据重新计算的L1范数和方差对神经元进行重新评估；若当前神经元满足公式则将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；若第一次被置零的神经元满足公式则将其恢复成原来的数值同时激活相同位置反向传递的误差项；重新评估后的满足公式的神经元参加下一轮的m次迭代；重复上述过程n次，使学习率随迭代步数进行阶梯式衰减。2.根据权利要求1所述的步进式卷积神经网络剪枝压缩方法，其特征在于，所述m次迭代是人工设置的迭代次数。3.根据权利要求1所述的步进式卷积神经网络剪枝压缩方法，其特征在于，所述公式和公式的α,β为超参数，所述超参数是根据数据分布和训练框架和方式得到的参数，用于控制压缩的效率以及训练的收敛速度，当α＝0.8,β＝1.1时压缩效率与收敛速度可以达到较好的平衡。2CN107784360A说明书1/3页步进式卷积神经网络剪枝压缩方法技术领域[0001]本发明涉及卷积神经网络剪枝压缩技术领域，具体涉及一种步进式卷积神经网络剪枝压缩方法。背景技术[0002]卷积神经网络(ConvolutionalNeuralNetworks，CNN)是自2012年快速发展起来、引起广泛重视的一种高效图片识别分类方法深度学习架构，该架构有效提高了图像分类和物体识别的能力。与传统的特征手工提取的方法相比，CNN可以直接输入原始图像、避免了繁杂的前期预处理，且识别精度较高；与传统的反向传输(BackPropagation，BP)神经网络相比，CNN由于使用了共享策略，其神经元的个数大大减少，从而在一定程度上避免了过拟合的现象。[0003]然而对于嵌入式终端设备，由于其计算资源和存储资源比较有限，因此，想要较小的占用内存资源同时获得较快的inference速度，大部分CNN网络例如VGG19/VGG16，ResNet，GoogLeNet等只能部署在有GPU或者FPGA支持的高端云平台。2016年，ICLR的bestpaper提出了一种压缩剪枝方案(DeepCompression)，但是其算法对无效神经元的估计只是对神经元的绝对值大小简单设定了一个阈值，并未考虑到训练过程中神经元的复杂变化，因此压缩效率依然不能令人满意。发明内容[0004]为解决上述技术问题，本发明提出了一种步进式卷积神经网络剪枝压缩方法，以达到对卷积神经网络进行有效压缩和快速计算的目的。[0005]为达到上述目的，本发明的技术方案如下：一种步进式卷积神经网络剪枝压缩方法，包括：利用GPU计算卷积神经网络模型中每一层神经元的L1范数和方差；根据每一层神经元的L1范数和方差估计每一个神经元当前时刻的重要性；对于满足公式的神经元，第一次将其强制设置为0，同时将相同位置的反向传播误差项也强制设置为0；卷积神经网络进行m次迭代训练后，重新计算当前神经元和第一次被置零的神经元的L1范数和方差