一种基于模型微调的卷积神经网络通道剪枝方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111931914A(43)申请公布日2020.11.13(21)申请号202010793944.4(22)申请日2020.08.10(71)申请人北京计算机技术及应用研究所地址100854北京市海淀区永定路51号(72)发明人刘洪宇杨林(74)专利代理机构中国兵器工业集团公司专利中心11011代理人张然(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图2页(54)发明名称一种基于模型微调的卷积神经网络通道剪枝方法(57)摘要本发明涉及一种基于模型微调的卷积神经网络通道剪枝方法及系统，该方法包括：构造卷积神经网络分类模型，该模型由特征提取器和分类器两部分构成，特征提取器包括卷积层以及池化层，在ImageNet图像分类数据集上进行训练，得到预训练模型C；修改所述预训练模型C的分类器，将分类器全连接层输出的类别数设置为目标类别，并在目标数据集上进行稀疏性训练，得到收敛后的模型C′；将所述稀疏训练后的模型C′根据通道剪枝策略进行剪枝，得到剪枝后的模型C″；将所述剪枝后的模型C″在目标数据集上进行微调，以提高剪枝后模型的性能。本发明提供一种基于模型微调的卷积神经网络通道剪枝方法及系统，通过对批归一化层缩放参数进行全局排序，并限制每个待剪枝网络层通道保留率，来选取网络中待剪通道。CN111931914ACN111931914A权利要求书1/2页1.一种基于模型微调的卷积神经网络通道剪枝方法，其特征在于，包括：构造卷积神经网络分类模型，该模型由特征提取器和分类器两部分构成，特征提取器包括卷积层以及池化层，在ImageNet图像分类数据集上进行训练，得到预训练模型C；修改所述预训练模型C的分类器，将分类器全连接层输出的类别数设置为目标类别，并在目标数据集上进行稀疏性训练，得到收敛后的模型C′；将所述稀疏训练后的模型C′根据通道剪枝策略进行剪枝，得到剪枝后的模型C″；将所述剪枝后的模型C″在目标数据集上进行微调，以提高剪枝后模型的性能。2.根据权利要求1所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，所述将预训练模型C进行稀疏性训练得到收敛后模型C′的过程，包括：根据目标数据集类别数，构建全连接层作为新的分类器，替换所述模型C中的分类器，并随机初始化该分类器中的参数；冻结所述模型C中所有可学习参数，只对新创建的分类器参数进行更新，训练模型；将所述模型C所有参数设置为可学习状态继续训练。3.根据权利要求2所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，卷积层之后使用批归一化层对特征图进行归一化，使用Relu6作为激活函数。4.根据权利要求3所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，所述将所述稀疏训练后的模型C′根据通道剪枝策略进行剪枝，包括：基于稀疏训练后模型C′中批归一化层的γ参数进行全局排序，按照设置的剪枝率p确定待剪枝通道，所述批归一化层表达式为：其中，x表示输出到批归一化层的特征图，y表示归一化之后的特征图，μB、是一批数据的均值和方差，ε是为了计算数值稳定性加入的一个较小的数，γ和β为批归一化层中可学习的缩放和平移参数。5.根据权利要求4所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，还包括：根据通道保留率k对待剪枝通道进行后处理，强制每层保留一定比例的通道数。6.根据权利要求5所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，所述卷积神经网络分类模型由若干个级联的分数步长卷积层构成，且利用跨步卷积来进行降采样，激活函数为Relu6，最后一层使用全连接层作为分类器，网络除最后一层外的每一层均使用批归一化技术进行特征图的归一化。7.根据权利要求1所述的基于模型微调的卷积神经网络通道剪枝方法，其特征在于，使用全连接层作为模型的分类器。8.一种基于模型微调的卷积神经网络通道剪枝系统，其特征在于，包括：第一微调训练单元，用于获取预训练模型C以及在目标数据集上微调后的模型C′；模型剪枝单元，用于根据剪枝率和通道保留率，从所述模型C′的所有通道中选取待剪通道；所述模型剪枝单元还用于根据选取的待剪通道，将所述模型C′进行剪枝，得到所述模型C″；2CN111931914A权利要求书2/2页模型重建单元，用于创建与所述模型C″结构相同的模型，并将剪枝后模型参数赋值给新创建模型；第二微调训练单元，用于在目标数据集上微调剪枝后的模型。3CN111931914A说明书1/5页一种基于模型微调的卷积神经网络通道剪枝方法技术领域[0001]本发明涉及深度学习卷积神经网络剪枝技术领域，具体涉及一种基于模型微调的通道剪枝方法。背景技术[0002]卷积神经网络通道剪枝技术