神经网络剪枝方法、装置、电子设备、存储介质及产品.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115829008A(43)申请公布日2023.03.21(21)申请号202310038150.0(22)申请日2023.01.10(71)申请人哲库科技（上海）有限公司地址200120上海市浦东新区中国（上海）自由贸易试验区盛夏路61弄1号8层（房产登记楼层7层）01室(72)发明人李雪晨(74)专利代理机构北京三高永信知识产权代理有限责任公司11138专利代理师邢惠童(51)Int.Cl.G06N3/0464(2023.01)G06N3/082(2023.01)权利要求书2页说明书14页附图10页(54)发明名称神经网络剪枝方法、装置、电子设备、存储介质及产品(57)摘要本申请提供了一种神经网络剪枝方法、装置、电子设备、存储介质及产品，属于人工智能技术领域。方法包括：对于第一神经网络的任一输出通道，确定所述输出通道对应的多个网络参数的重要参数；将所述多个网络参数的重要参数，转换为所述输出通道的重要参数；基于所述第一神经网络的多个输出通道的重要参数，对所述第一神经网络的多个输出通道进行掩膜处理；从所述第一神经网络中删除目标输出通道得到第二神经网络，所述目标输出通道为掩膜值为第一数值的输出通道。本申请能够将结构化剪枝方式和非结构化剪枝方式进行结合，从而将非结构化剪枝的优点共享到结构化剪枝方式中，进而使得剪枝得到的第二神经网络能够得到硬件更好的支持。CN115829008ACN115829008A权利要求书1/2页1.一种神经网络剪枝方法，其特征在于，所述方法包括：对于第一神经网络的任一输出通道，确定所述输出通道对应的多个网络参数的重要参数，所述网络参数的重要参数用于表示所述网络参数的重要程度；将所述多个网络参数的重要参数，转换为所述输出通道的重要参数，所述输出通道的重要参数用于表示所述输出通道的重要程度；基于所述第一神经网络的多个输出通道的重要参数，对所述第一神经网络的多个输出通道进行掩膜处理，掩膜处理后的多个输出通道的掩膜值为第一数值或者第二数值；从所述第一神经网络中删除目标输出通道得到第二神经网络，所述目标输出通道为掩膜值为第一数值的输出通道。2.根据权利要求1所述的方法，其特征在于，所述将所述多个网络参数的重要参数，转换为所述输出通道的重要参数，包括：基于所述多个网络参数的重要参数，确定所述多个网络参数对应的闵可夫斯基距离，将所述闵可夫斯基距离作为所述输出通道的重要参数。3.根据权利要求2所述的方法，其特征在于，所述基于所述多个网络参数的重要参数，确定所述多个网络参数对应的闵可夫斯基距离，包括：基于所述多个网络参数的重要参数，确定第一数量，将所述第一数量作为所述闵可夫斯基距离；其中，所述第一数量为重要参数不为零的网络参数的数量。4.根据权利要求2所述的方法，其特征在于，所述基于所述多个网络参数的重要参数，确定所述多个网络参数对应的闵可夫斯基距离，包括：确定所述多个网络参数的重要参数的绝对值之和，得到第三数值，将所述第三数值作为所述闵可夫斯基距离。5.根据权利要求2所述的方法，其特征在于，所述基于所述多个网络参数的重要参数，确定所述多个网络参数对应的闵可夫斯基距离，包括：确定所述多个网络参数的重要参数的平方之和，得到第四数值，确定所述第四数值的平方根，得到第五数值，将所述第五数值作为所述闵可夫斯基距离。6.根据权利要求2所述的方法，其特征在于，所述基于所述多个网络参数的重要参数，确定所述多个网络参数对应的闵可夫斯基距离，包括：分别确定所述多个网络参数的重要参数的绝对值，得到多个绝对值，从所述多个绝对值中确定最大值，将所述最大值作为所述闵可夫斯基距离。7.根据权利要求1所述的方法，其特征在于，所述确定所述多个网络参数的重要参数，包括：对于任一网络参数，确定所述网络参数的评价指标metric，将所述网络参数的metric作为所述网络参数的重要参数。8.根据权利要求1所述的方法，其特征在于，所述确定所述多个网络参数的重要参数，包括：对于任一网络参数，确定所述网络参数的掩膜值，将所述网络参数的掩膜值作为所述网络参数的重要参数。9.根据权利要求1所述的方法，其特征在于，所述基于所述第一神经网络的多个输出通2CN115829008A权利要求书2/2页道的重要参数，对所述第一神经网络的多个输出通道进行掩膜处理，包括：对于任一输出通道，在所述输出通道的重要参数大于预设阈值的情况下，将所述输出通道的掩膜值设置为第二数值；在所述输出通道的重要参数不大于所述预设阈值的情况下，将所述输出通道的掩膜值设置为第一数值。10.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取样本数据，基于所述样本数据对所述第二神经网络进行优化训练。11.一种神经网络剪枝装置，其特征在于，所述装置