神经网络的量化方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114169513A(43)申请公布日2022.03.11(21)申请号202210127214.X(22)申请日2022.02.11(71)申请人深圳比特微电子科技有限公司地址518000广东省深圳市南山区高新南六道航盛科技大厦801(72)发明人徐祥艾国杨作兴房汝明向志宏(74)专利代理机构北京德琦知识产权代理有限公司11018代理人孟旸王丽琴(51)Int.Cl.G06N3/063(2006.01)G06N3/04(2006.01)权利要求书2页说明书9页附图3页(54)发明名称神经网络的量化方法、装置、存储介质及电子设备(57)摘要本公开涉及一种神经网络的量化方法、装置、存储介质及电子设备，该量化方法包括：接收神经网络中的前一神经网络层输出的与第一量化位宽对应的第一取值范围区间的输入数据；将输入数据映射到至少包括与第二量化位宽对应的第二取值范围区间，得到量化输入数据；根据量化输入数据对应的量化位宽进行计算，得到量化输出数据；将量化输出数据反映射到与第一量化位宽对应的第一取值范围区间，获得输出数据。本公开实现了量化的后的神经网络在不降低硬件间数据传输效率的同时提升推理精度的目的。CN114169513ACN114169513A权利要求书1/2页1.一种神经网络的量化方法，其特征在于，包括：接收所述神经网络中的前一神经网络层输出的与第一量化位宽对应的第一取值范围区间的输入数据；将所述输入数据映射到至少包括与第二量化位宽对应的第二取值范围区间，得到量化输入数据；根据量化输入数据对应的量化位宽进行计算，得到量化输出数据；将所述量化输出数据反映射到与所述第一量化位宽对应的所述第一取值范围区间，获得输出数据。2.根据权利要求1所述的神经网络的量化方法，其特征在于：所述将所述输入数据映射到至少包括与第二量化位宽对应的第二取值范围区间，包括如下步骤：将与所述第二量化位宽对应的所述第二取值范围区间分为多个子区间；对于所述多个子区间中的至少任意一个子区间，将对应所述子区间的输入数据从所述第一量化位宽映射为所述第二量化位宽，得到包括所述多个子区间的所述第二取值范围区间，其中，所述第一量化位宽小于所述第二量化位宽。3.根据权利要求1所述的神经网络的量化方法，其特征在于：所述将所述输入数据映射到至少包括与第二量化位宽对应的第二取值范围区间，包括如下步骤：将与所述第二量化位宽对应的所述第二取值范围区间分为多个子区间；对于所述多个子区间中的至少任意一个子区间，将对应所述子区间的输入数据从所述第一量化位宽映射为所述第二量化位宽，以及，将至少另一子区间的输入数据从所述第一量化位宽映射为第三量化位宽，得到包括所述多个子区间的所述第二取值范围区间，其中，所述第一量化位宽小于所述第二量化位宽，所述第一量化位宽大于所述第三量化位宽。4.根据权利要求2或3所述的神经网络的量化方法，其特征在于：在得到包括所述多个子区间的所述第二取值范围区间后，继续执行以下步骤：将相邻的具有相同量化位宽的子区间进行合并；获取合并后的量化位宽的子区间的起始位置和结束位置，并根据所述子区间对应的量化位宽执行所述计算。5.根据权利要求2或3所述的神经网络的量化方法，其特征在于：在所述根据量化输入数据对应的量化位宽进行计算，得到量化输出数据后，进一步包括以下步骤：判断所述量化输出数据是否满足要求，如果不满足所述要求，则调整至少一个子区间对应的量化位宽，并根据调整后的各子区间的量化位宽进行所述计算。6.一种神经网络的量化装置，其特征在于，包括：数据接收单元，用于接收所述神经网络中的前一神经网络层输出的与第一量化位宽对应的第一取值范围区间的输入数据；映射单元，用于将所述输入数据映射到至少包括与第二量化位宽对应的第二取值范围区间，得到量化输入数据；计算单元，用于根据量化输入数据对应的量化位宽进行计算，得到量化输出数据；2CN114169513A权利要求书2/2页反映射单元，用于将所述量化输出数据反映射到与所述第一量化位宽对应的所述第一取值范围区间，获得输出数据。7.一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至5任一项所述的神经网络的量化方法。8.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1至5任一项所述的神经网络的量化方法。3CN114169513A说明书1/9页神经网络的量化方法、装置、存储介质及电子设备技术领域[0001]本公开涉及计算机技术领域，