基于双注意力机制的稀疏剪枝方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115359318A(43)申请公布日2022.11.18(21)申请号202211013474.0(22)申请日2022.08.23(71)申请人桂林理工大学地址541004广西壮族自治区桂林市七星区建干路12号(72)发明人叶汉民李志波蒲立力(51)Int.Cl.G06V10/774(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06V10/82(2022.01)权利要求书1页说明书3页附图3页(54)发明名称基于双注意力机制的稀疏剪枝方法(57)摘要本发明公开了一种基于双注意力机制的稀疏剪枝方法，该方法在保证性能精度较好的条件下高效压缩网络模型大小和参数量。根据空间注意力和通道注意力理论，融合通道注意力和空间注意力机制模块筛选注意力位于网络模型中最佳结构，随后根据网络中不同权重所对应的掩码来选择性保留和剔除相对应权重，通过掩码矩阵来更新和完成剪枝操作，同时根据神经网络总体空间损失实时更新掩码矩阵和权重矩阵。通过Pytorch深度学习框架来不断更新网络权重，并根据掩码矩阵对神经网络进行剪枝操作。实验结果表明本方法在对公共数据集进行性能测试时识别准确率较高，并且网络中剔除了较多冗余参数，使得网络模型得到有效压缩。CN115359318ACN115359318A权利要求书1/1页1.一种基于双注意力机制的稀疏剪枝方法，其特征在于：该方法在保证性能精度较好的条件下高效压缩网络模型大小和参数量；根据空间注意力和通道注意力理论，融合通道注意力和空间注意力机制模块筛选注意力位于网络模型中最佳结构，随后根据网络中不同权重所对应的掩码来选择性保留和剔除相对应权重，通过掩码矩阵来更新和完成剪枝操作，同时根据神经网络总体空间损失实时更新掩码矩阵和权重矩阵；通过Pytorch深度学习框架来不断更新网络权重，并根据掩码矩阵对神经网络进行剪枝操作；实验结果表明本方法在对公共数据集进行性能测试时识别准确率较高，并且网络中剔除了较多冗余参数，使得网络模型得到有效压缩。2.根据权利要求1所述的一种基于双注意力机制的稀疏剪枝方法，其特征在于：该方法具体包括以下流程：步骤一：构造高效注意力机制模块1)通道注意力利用数据集中样本信息进行高效学习，使神经网络能够做出最佳判断，而空间注意力可以根据任务种类的不同学习到局部关键信息，提高神经网络的预测判别能力，通过将两者有效融合在一起，可以让网络自适应地学习到数据集中的关键信息；2)当数据集被送入神经网络中，首先需对数据进行预处理，随后分双路送入平均池化层和最大池化层，经过池化层分别转化为权重向量；随后通过神经网络将权重向量转化为权重映射并进行激活，生成的特征输出图与初始特征图进行结合进行输出；3)将上述输出转化成空间注意力的特征输入，分别经过平均和最大池化转化为特征权重，随后进行特征图堆叠，使得特征图中各部分的重要性程度得以表达，进而得到通道和空间注意力的图像特征；步骤二：稀疏化网络剪枝操作1)对神经元连接权重引入掩码{0,1}进行剪枝操作，0表示该权重被剔除，1表示相对应权重得以保留；2)M代表掩码矩阵、W表示初始化权重矩阵,W′表示更新后的权重矩阵；通过M×W＝W′来不断调整掩码矩阵和权重矩阵；3)当Mij＝1时，表示其对应的权重参数没有被剔除；Mij＝0时则表示相对应权重参数被剔除；为有效剔除相关冗余参数及权重，可以将掩码0,1决策问题看成二元随机变量选取问题；4)假设权重掩码mi收敛于1(即保留权重)概率为p,则掩码0的概率为1‑p；同时网络不同层与层之间的选择相互独立且不受影响，则上述问题的概率条件分布等同于伯努利分布：n6)其中w∈R表示网络层中所有参数，p∈[0,1]为掩码的取值范围，||p||0≤k为网络模型稀疏度小于等于k；7)通过不断更新权重参数矩阵和掩码矩阵使得两者进行结合，不断剔除网络中冗余参数，直至得到符合预期稀疏度或剪枝率条件下进行最小损失评估，筛选出符合条件的最佳网络模型。2CN115359318A说明书1/3页基于双注意力机制的稀疏剪枝方法技术领域[0001]本发明属于人工智能、图像处理与人工神经网络与计算交叉领域，主题内容是一种融合通道注意力和空间注意力机制的剪枝方法，通过构造有效注意力机制模块来搭建高效网络架构，通过掩码矩阵来确定相应权重是否保留，该方法有效对网络架构进行压缩，从而获得精简网络。背景技术[0002]网络压缩实际意义在于保证精度的情况下尽可能地减少模型计算量及参数量，减少模型运算时间,将模型深度控制在合理范围之内，便于实现模型的移植部署以满足实际应用需求。近些年来较为常见的网络压缩方法包含权重量化、知识蒸馏，网络剪枝。量化采用的思想是通过低精度参数或者各种参数量化