神经网络参数矩阵的稀疏化方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110516806A(43)申请公布日2019.11.29(21)申请号201910814977.X(22)申请日2019.08.30(71)申请人苏州思必驰信息科技有限公司地址215123江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋(72)发明人蒋泳森(74)专利代理机构北京商专永信知识产权代理事务所(普通合伙)11400代理人黄谦邓婷婷(51)Int.Cl.G06N3/08(2006.01)G06F17/16(2006.01)权利要求书2页说明书7页附图3页(54)发明名称神经网络参数矩阵的稀疏化方法和装置(57)摘要本发明公开神经网络参数矩阵的稀疏化方法和装置，其中，一种神经网络参数矩阵的稀疏化方法，包括：在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数；将所述最冗余的多个参数置0；对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。本申请的方法和装置提供的方案通过增量式稀疏化算法，网络最终的稀疏化能够达到80％以上，大大的降低了参数所需的存储空间，提升计算速度，并且因为是增量式的稀疏化算法，每一轮虽然置0了部分权值，但是非0部分还是会参与训练，所以识别的性能不会降低。CN110516806ACN110516806A权利要求书1/2页1.一种神经网络参数矩阵的稀疏化方法，包括：在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数；将所述最冗余的多个参数置0；对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。2.根据权利要求1所述的方法，其中，所述在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数包括：在对神经网络参数进行每一轮迭代训练之前，将所述神经网络参数矩阵中非0的参数按照绝对值大小的顺序排列；基于预设比例选出绝对值最小的多个参数为最冗余的多个参数。3.根据权利要求2所述的方法，其中，所述方法还包括：在对神经网络参数进行下一轮迭代训练之前，从未被标记的参数中选出所述神经网络参数矩阵中最冗余的多个参数；将所述最冗余的多个参数置0；对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。4.根据权利要求1所述的方法，其中，所述在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数包括：在对神经网络参数进行每一轮迭代训练之前，将所述神经网络参数矩阵中的参数的绝对值和预设阈值进行比较；如果多个参数的绝对值小于所述预设阈值，将所述多个参数确定为最冗余的多个参数。5.根据权利要求4所述的方法，其中，所述方法还包括：如果某些参数的绝对值大于等于所述预设阈值，将所述某些参数确定为非冗余参数。6.根据权利要求1-5中任一项所述的方法，其中，所述对所选出置0的参数进行标记包括：记录所述置0后的参数在所述神经网络参数矩阵中的索引位置。7.一种神经网络参数矩阵的稀疏化装置，包括：冗余参数选择模块，配置为在对神经网络参数进行每一轮迭代训练之前，选出所述神经网络参数矩阵中最冗余的多个参数；置0模块，配置为将所述最冗余的多个参数置0；标记模块，配置为对置0后的参数进行标记并在之后的迭代训练过程中不再更新标记后的参数。8.根据权利要求7所述的装置，其中，所述冗余参数选择模块进一步配置为：在对神经网络参数进行每一轮迭代训练之前，将所述神经网络参数矩阵中非0的参数按照绝对值大小的顺序排列；基于预设比例选出绝对值最小的多个参数为最冗余的多个参数。9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6任一项所述方法的步2CN110516806A权利要求书2/2页骤。10.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。3CN110516806A说明书1/7页神经网络参数矩阵的稀疏化方法和装置技术领域[0001]本发明属于神经网络技术领域，尤其涉及神经网络参数矩阵的稀疏化方法和装置。背景技术[0002]相关技术中，svd(SingularValueDecomposition，奇异值分解)分解算法，nodeprune点裁剪算法，传统的稀疏矩阵算法是目前比较常见的几种技术。其中，svd分解算法：把一个m*n的矩阵做svd分解成m*r+r*n(r<<n)；Nodeprune：根据矩阵的某一行或者某一列的总的权重做为代价从而裁剪掉某行某列；传统的稀疏矩阵算法：训练过程中做L1范数约束；对训练