一种基于剪枝的神经网络模型构建方法及相关装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111814975A(43)申请公布日2020.10.23(21)申请号202010657107.9(22)申请日2020.07.09(71)申请人广东工业大学地址510060广东省广州市越秀区东风东路729号大院(72)发明人李贺罗钊川黄泽茵李世杰黄梓欣吴雁楠青靓李柔仪陈沛琪佘烁康李婕(74)专利代理机构北京集佳知识产权代理有限公司11227代理人黄忠(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书10页附图4页(54)发明名称一种基于剪枝的神经网络模型构建方法及相关装置(57)摘要本申请公开了一种基于剪枝的神经网络模型构建方法及相关装置，方法包括：将预置神经网络模型的权重值进行顺序排列，然后通过根据神经网络模型总分支的数量和权重序列确定的剪枝阈值对预置神经网络模型进行剪枝，得到第一剪枝神经网络模型，并计算其重训练后的误差函数进行泰勒展开，以及计算，得到误差变化值；通过判断误差变化值与误差阈值之间的大小关系对神经网络模型进行循环式剪枝操作，得到优化的目标神经网络模型。本申请解决了现有神经网络模型的压缩优化方法设计困难，适用度受限，且压缩后的模型精确度损失较大的技术问题。CN111814975ACN111814975A权利要求书1/2页1.一种基于剪枝的神经网络模型构建方法，其特征在于，包括：S1：将预置神经网络模型的初始权重值按照预置顺序排列，得到初始权重值序列；S2：根据剪枝阈值对所述预置神经网络模型进行剪枝操作，得到第一剪枝神经网络模型，所述剪枝阈值根据所述初始权重值序列和所述预置神经网络模型的总分支数量确定；S3：将所述第一剪枝神经网络模型经过重训练得到的误差函数进行泰勒展开，并进行泰勒优化计算得到误差变化值；S4：在所述误差变化值小于误差阈值时，将重训练后的所述第一剪枝神经网络模型作为预置神经网络模型，重复步骤S1-S3；S5：在所述误差变化值大于所述误差阈值时，丢弃本次剪枝操作得到的所述第一剪枝神经网络模型，并将上一次剪枝操作得到且重训练后的第二剪枝神经网络模型代替所述预置神经网络模型，重复步骤S1-S3；S6：在所述误差变化值连续预置次数大于所述误差阈值时，则停止剪枝操作，获取目标神经网络模型，所述目标神经网络模型为上一次所述误差变化值小于所述误差阈值时对应的剪枝神经网络模型。2.根据权利要求1所述的基于剪枝的神经网络模型构建方法，其特征在于，步骤S1之前还包括：对原始神经网络模型进行预训练操作，得到所述预置神经网络模型。3.根据权利要求1所述的基于剪枝的神经网络模型构建方法，其特征在于，步骤S2，包括：根据预置剪枝比例和所述预置神经网络模型中的总分支数量计算剪枝数量；通过所述剪枝数量和所述初始权重值序列获取相应的所述剪枝阈值；将所述预置神经网络模型中小于所述剪枝阈值的所述初始权重值置零，得到所述第一剪枝神经网络模型。4.根据权利要求1所述的基于剪枝的神经网络模型构建方法，其特征在于，步骤S3，包括：获取重训练后的所述第一剪枝神经网络模型的所述误差函数；将所述误差函数进行泰勒展开，得到泰勒误差函数；采用预置拉格朗日算法对所述泰勒误差函数进行泰勒优化计算，得到所述误差变化值。5.一种基于剪枝的神经网络模型构建装置，其特征在于，包括：排列模块，用于将预置神经网络模型的初始权重值按照预置顺序排列，得到初始权重值序列；剪枝模块，用于根据剪枝阈值对所述预置神经网络模型进行剪枝操作，得到第一剪枝神经网络模型，所述剪枝阈值根据所述初始权重值序列和所述预置神经网络模型的总分支数量确定；计算模块，用于将所述第一剪枝神经网络模型经过重训练得到的误差函数进行泰勒展开，并进行泰勒优化计算得到误差变化值；第一判断模块，用于在所述误差变化值小于误差阈值时，将重训练后的所述第一剪枝神经网络模型作为预置神经网络模型，触发所述排列模块；2CN111814975A权利要求书2/2页第二判断模块，用于在所述误差变化值大于所述误差阈值时，丢弃本次剪枝操作得到的所述第一剪枝神经网络模型，并将上一次剪枝操作得到且重训练后的第二剪枝神经网络模型代替所述预置神经网络模型，触发所述排列模块；第三判断模块，用于在所述误差变化值连续预置次数大于所述误差阈值时，则停止剪枝操作，获取目标神经网络模型，所述目标神经网络模型为上一次所述误差变化值小于所述误差阈值时对应的剪枝神经网络模型。6.根据权利要求5所述的基于剪枝的神经网络模型构建装置，其特征在于，还包括：预训练模块，用于对原始神经网络模型进行预训练操作，得到所述预置神经网络模型。7.根据权利要求5所述的基于剪枝的神经网络模型构建装置，其特征在于，所述剪枝模块，包括：计算子模块，用