基于硬件特性的模型剪枝方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114970856A(43)申请公布日2022.08.30(21)申请号202210665648.5(22)申请日2022.06.14(71)申请人深存科技（无锡）有限公司地址214000江苏省无锡市新吴区弘毅路10号金乾座401、402室(72)发明人贾俊杰(74)专利代理机构无锡市汇诚永信专利代理事务所(普通合伙)32260专利代理师曹慧萍(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书3页说明书8页附图5页(54)发明名称基于硬件特性的模型剪枝方法、装置、设备及存储介质(57)摘要本申请公开一种基于硬件特性的模型剪枝方法、装置、设备及存储介质，涉及神经网络领域，方法包括：确定原始网络模型的模型算力和目标硬件算力，设定网络模型的目标帧数；基于目标FPS确定网络模型的整体剪枝率以及原始网络模型中各层的剪枝敏感类型；根据各层的剪枝敏感类型以及整体剪枝率，确定模型各层的层间剪枝率，按照层间剪枝率进行模型剪枝；对剪枝后的模型进行重训练，并基于模型精度以及目标FPS输出目标网络模型。本方案通过将剪枝力度和硬件特性相结合，将细化的各神经网络层和目标硬件特性关联来确定具体的剪枝力度，其剪枝的细粒度更高，且充分利用了硬件资源，同时实现了较高的模型推理性能。CN114970856ACN114970856A权利要求书1/3页1.一种基于硬件特性的模型剪枝方法，其特征在于，所述方法包括：确定原始网络模型的模型算力和目标硬件算力，设定网络模型的目标帧数FPS；基于所述目标FPS确定所述网络模型的整体剪枝率以及所述原始网络模型中各层的剪枝敏感类型；所述剪枝敏感类型用于表征模型各层剪枝力度和模型计算性能的关系；根据各层的所述剪枝敏感类型以及所述整体剪枝率，确定模型各层的层间剪枝率，按照所述层间剪枝率进行模型剪枝；对剪枝后的模型进行重训练，并基于模型精度以及所述目标FPS输出目标网络模型。2.根据权利要求1所述的方法，其特征在于，所述目标FPS确定所述网络模型的整体剪枝率以及所述网络模型中各层的剪枝敏感类型，包括：当所述目标硬件运行所述原始模型获得的FPS小于所述目标FPS时，根据两者的比列关系确定所述整体剪枝率；加载RoofLine模型，并对所述网络模型的全连接层和卷积层进行分析，分别计算出模型中各个全连接层和卷积层的计算量和访存量；分别基于所述计算量和所述访存量计算获得全连接层和卷积层的计算密度；基于所述计算密度分别确定各个全连接层和卷积层的剪枝敏感类型。3.根据权利要求2所述的方法，其特征在于，所述基于所述计算密度分别确定各个全连接层和卷积层的剪枝敏感类型，包括：确定所述目标硬件的内存带宽和峰值计算速度，基于加载的RoofLine模型确定硬件算力和计算密度的计算关系图；RoofLine模型用于描述在硬件算力和带宽的限制下，程序所能达到的理论性能上界；基于所述计算密度对应的计算速度和峰值计算速度的大小，分别确定各个全连接层和卷积层的剪枝敏感类型；其中，当计算密度所对应的计算速度小于峰值计算速度时为访存密集型，当计算密度所对应的计算速度大于峰值计算速度时为计算密集型。4.根据权利要求3所述的方法，其特征在于，所述根据各层的所述剪枝敏感类型以及所述整体剪枝率，确定模型各层的层间剪枝率，按照所述层间剪枝率进行模型剪枝，包括：将计算密集型所对应的第一目标剪枝层进行归类汇总，获得第一列表；将计算密集型的第二目标剪枝层进行归类汇总，获得第二列表；计算所述第一列表中所述第一目标剪枝层的计算速度和所述峰值计算速度之间的差值，根据差值确定各个所述第一目标剪枝层的第一层间剪枝率；当所述第一层间剪枝率之和不小于所述整体剪枝率时，根据所述第一层间剪枝率对模型的所述第一目标剪枝层进行模型剪枝。5.根据权利要求3所述的方法，其特征在于，当所述第一层间剪枝率之和小于所述整体剪枝率时，确定和所述整体剪枝率的剪枝率差值；基于所述剪枝率差值和所述第二列表中所述第二目标剪枝层的计算密度的大小，确定所述第二层间剪枝率；基于所述第一层间剪枝率和所述第二剪枝率对所述第一目标剪枝层和所述第二目标剪枝层进行模型剪枝。6.根据权利要求1所述的方法，其特征在于，所述对剪枝后的模型进行重训练，并基于模型精度以及所述目标FPS输出目标网络模型，包括：2CN114970856A权利要求书2/3页将剪枝后的模型和所述原始网络模型作为输入，采用知识蒸馏策略对剪枝后的模型进行迭代重训练；当所述模型精度达到原始模型精度的预设范围，且训练后的FPS达到所述目标FPS时，输出所述目标网络模型。7.根据权利要求4所述的方法，其特征在于，所述计算所述第一列表中所述第一目标剪枝层的计算速度和所述峰值计算速度之