卷积神经网络量化方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114139678A(43)申请公布日2022.03.04(21)申请号202111265219.0(22)申请日2021.10.28(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人张峰孟艺薇张翠婷(74)专利代理机构北京路浩知识产权代理有限公司11002代理人李文清(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书14页附图4页(54)发明名称卷积神经网络量化方法、装置、电子设备和存储介质(57)摘要本发明提供一种卷积神经网络量化方法、装置、电子设备和存储介质，其中方法包括：按照预设的重要权重优先原则，分别获取预训练卷积神经网络中每一层的第一量化权重范围；其中，所述重要权重优先原则包括基于每一层原始权重的幂指数出现频次确定的原则；对所述第一量化权重范围分别进行权重数量扩充处理，得到所述每一层的第二量化权重范围；基于所述第二量化权重范围，确定所述预训练卷积神经网络的目标量化权重范围。本发明能够实现在相同量化位宽的情况下增加量化范围及减小精度损失的目的，不仅能够减少网络模型的存储空间、减小计算量、减少能源消耗，也能够大大提高量化精度。CN114139678ACN114139678A权利要求书1/3页1.一种卷积神经网络量化方法，其特征在于，包括：按照预设的重要权重优先原则，分别获取预训练卷积神经网络中每一层的第一量化权重范围；其中，所述重要权重优先原则包括基于每一层原始权重的幂指数出现频次确定的原则；对所述第一量化权重范围分别进行权重数量扩充处理，得到所述每一层的第二量化权重范围；基于所述第二量化权重范围，确定所述预训练卷积神经网络的目标量化权重范围。2.根据权利要求1所述的卷积神经网络量化方法，其特征在于，所述按照预设的重要权重优先原则，分别获取预训练卷积神经网络中每一层的第一量化权重范围，包括：分别设定预训练卷积神经网络中每一层的量化权重值域及量化位宽；其中，所述量化权重值域包括多个量化权重，每个所述量化权重的绝对值的幂底数分别相同、幂指数各不相同，且所述量化权重值域中的端点处量化权重的幂指数均未知；按照预设的重要权重优先原则，分别获取所述每一层的原始权重中出现频次最高的第一幂指数以及与所述第一幂指数紧邻的出现频次最高的第二幂指数；基于所述第一幂指数、所述第二幂指数及所述量化位宽，分别计算所述量化权重值域中的端点处量化权重的第一端点幂指数；基于所述第一端点幂指数对应的第一量化权重值域，分别确定所述每一层的第一量化权重范围。3.根据权利要求2所述的卷积神经网络量化方法，其特征在于，所述对所述第一量化权重范围分别进行权重数量扩充处理，得到所述每一层的第二量化权重范围，包括：基于权重去0原则，对所述第一端点幂指数分别进行调整处理，分别得到第二端点幂指数；分别基于所述第二端点幂指数对应的第二量化权重值域，确定所述每一层的第二量化权重范围。4.根据权利要求1所述的卷积神经网络量化方法，其特征在于，所述基于所述第二量化权重范围，确定所述预训练卷积神经网络的目标量化权重范围，包括：将所述每一层的第二量化权重范围进行统一量化处理，得到所述预训练卷积神经网络的目标量化权重范围。5.根据权利要求2所述的卷积神经网络量化方法，其特征在于，所述按照预设的重要权重优先原则，分别确定所述每一层的原始权重中出现频次最高的第一幂指数以及与所述第一幂指数紧邻的出现频次最高的第二幂指数，包括：分别确定所述每一层的原始权重的幂指数Sl，并且按照预设的重要权重优先原则，分别确定所述每一层的原始权重中出现频次最高的第一幂指数maxinuml以及与所述第一幂指数maxinuml紧邻的出现频次最高的第二幂指数maxinum1l，其中：Sl＝floor(log2(4abs(Wl)/3))maxinuml＝Max_num1(Sl)maxinum1l＝Max_neighboor(Sl，maxinuml)；其中，floor(·)表示向下取整，abs(·)表示取绝对值，Wl表示预训练卷积神经网络第l层的原始权重，Sl表示预训练卷积神经网络第l层的原始权重的幂指数，Max_num1(·)表示2CN114139678A权利要求书2/3页取出出现频次最高的值，Max_neighboor(Sl，maxinuml)表示在Sl里取出与maxinuml的值相邻且出现频次最高的值，maxinuml表示第l层的原始权重Wl中出现频次最高的第一幂指数，maxinum1l表示与maxinuml紧邻的出现频次最高的第二幂指数，1≤l≤L，L表示预训练卷积神经网络中可学习层的总层数。6.根据权利要求5所述的卷积神经网络量化方