神经网络模型剪枝方法、装置、模型、介质及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114139699A(43)申请公布日2022.03.04(21)申请号202111211116.6(22)申请日2021.10.18(71)申请人浙江香侬慧语科技有限责任公司地址311121浙江省杭州市余杭区余杭街道文一西路1818-2号9幢903室(72)发明人李晓雅卢辰鑫何豪杰王思宽王铎韩庆宏(74)专利代理机构北京国科程知识产权代理事务所(普通合伙)11862代理人曹晓斐(51)Int.Cl.G06N3/08(2006.01)权利要求书2页说明书9页附图3页(54)发明名称神经网络模型剪枝方法、装置、模型、介质及设备(57)摘要本申请公开了一种神经网络模型剪枝方法、装置、模型、介质及设备，属于数据控制技术领域。该方法主要包括：在多层级神经网络模型的第一层神经元中选取第一神经元；根据第N‑1神经元与第N层神经元的互信息，在第N层中选取第N神经元；根据第N‑1神经元与第N神经元，在第N‑1层神经元与第N层神经元的连接参数矩阵中删除部分参数元素，获得各个相邻层对应的更新参数矩阵；根据更新参数矩阵，分别对更新参数矩阵中的参数元素进行相应的整理，获得多层级神经网络模型对应的剪枝参数矩阵。基于神经网络模型相邻两层之间的互信息，保留当前层与上一层互信息最大的若干神经元，将剩余部分删除；以加快神经网络模型运行效率以及增强其兼容性。CN114139699ACN114139699A权利要求书1/2页1.一种神经网络模型剪枝方法，其特征在于，包括：在多层级神经网络模型的第一层神经元中选取预定数目的第一层神经元作为第一神经元，其中第一层神经元为所述多层级神经网络模型中最高层中全部神经元；根据第N‑1神经元与第N层神经元的互信息，在第N层中选取所述预定数目的所述第N层神经元作为第N神经元，其中N表示所述多层级神经网络模型的层级，N为大于1的自然数；根据所述第N‑1神经元与所述第N神经元，在第N‑1层神经元与第N层神经元之间的连接参数矩阵中删除部分参数元素，获得所述第N‑1神经元与所述第N神经元对应参数元素组成的更新参数矩阵，进而获得各个相邻层对应的更新参数矩阵；以及根据所述各个相邻层对应的更新参数矩阵，对所述各个相邻层对应的更新参数矩阵中的参数元素进行相应的整理，获得所述多层级神经网络模型对应的剪枝参数矩阵。2.根据权利要求1所述的神经网络模型剪枝方法，其特征在于，所述根据第N‑1层神经元与第N层神经元的互信息，在第N层中选取所述预定数目的所述第N层神经元作为第N神经元，进一步包括：根据所述第N‑1神经元，计算所述第N‑1神经元中的每一神经元分别与各个所述第N层神经元的互信息；根据所述互信息，选取所述预定数目的所述第N层神经元作为所述第N神经元。3.根据权利要求2所述的神经网络模型剪枝方法，其特征在于，所述根据所述互信息，选取所述预定数目的所述第N层神经元作为所述第N神经元，进一步包括：对所述每一神经元与各个所述第N层神经元的互信息按照大小进行排列；根据排列结果，选取所述第N神经元。4.根据权利要求1所述的神经网络模型剪枝方法，其特征在于，所述根据第N‑1神经元与所述第N神经元，在第N‑1层神经元与第N层神经元之间的连接参数矩阵中删除部分参数元素，获得所述第N‑1神经元与所述第N神经元对应参数元素组成的更新参数矩阵，进一步包括：根据所述第N‑1神经元与所述第N神经元分别在各自神经元层中的位置，确定所述连接参数矩阵中待删除参数元素的位置；根据所述待删除参数元素的位置，将所述待删除参数元素移除，获得所述第N‑1神经元与所述第N神经元对应参数元素组成的更新参数矩阵。5.根据权利要求1所述的神经网络模型剪枝方法，其特征在于，所述在多层级神经网络模型的第一层神经元中选取预定数目的第一层神经元作为第一神经元，进一步包括：根据所述多层级神经网络模型的任务类型的互信息，分别计算所述第一层神经元与所述任务类型的关联度；根据所述关联度的大小对所述第一层神经元进行排列；以及根据排列结果，选取所述第一神经元。6.根据权利要求1所述的神经网络模型剪枝方法，其特征在于，所述根据所述各个相邻层对应的更新参数矩阵，对所述各个相邻层对应的更新参数矩阵中的参数元素进行相应的整理，获得所述多层级神经网络模型对应的剪枝参数矩阵，进一步包括：根据所述各个相邻层对应的更新参数矩阵，对所述各个相邻层对应的更新参数矩阵中的参数元素的位置进行重新排列，获得所述剪枝参数矩阵，使得所述剪枝参数矩阵中参数2CN114139699A权利要求书2/2页元素的位置存在对应的参数元素。7.一种神经网络模型剪枝装置，其特征在于，包括：用于在多层级神经网络模型的第一层神经元中选取预定数目的第一层神经元作为第一神经元的模块，其中第一层神