神经网络推理量化的方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113705791A(43)申请公布日2021.11.26(21)申请号202111016047.3(22)申请日2021.08.31(71)申请人上海阵量智能科技有限公司地址200235上海市徐汇区永嘉路698号518室(72)发明人刘明庄胡英俊徐宁仪(74)专利代理机构北京中知恒瑞知识产权代理事务所(普通合伙)11889代理人袁忠林(51)Int.Cl.G06N3/04(2006.01)G06N5/04(2006.01)权利要求书2页说明书14页附图2页(54)发明名称神经网络推理量化的方法、装置、电子设备及存储介质(57)摘要本公开提供了一种神经网络推理量化的方法、装置、电子设备及存储介质，该方法包括：获取训练后的目标神经网络；将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组；针对每个所述通道组，基于所述通道组内包含的每个通道对应的特征极值，确定所述通道组对应的目标最大值和目标最小值；基于各个所述通道组内分别对应的所述目标最大值和所述目标最小值，对所述目标神经网络的推理过程进行量化处理。CN113705791ACN113705791A权利要求书1/2页1.一种神经网络推理量化的方法，其特征在于，包括：获取训练后的目标神经网络；将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组；针对每个所述通道组，基于所述通道组内包含的每个通道对应的特征极值，确定所述通道组对应的目标最大值和目标最小值；基于各个所述通道组内分别对应的所述目标最大值和所述目标最小值，对所述目标神经网络的推理过程进行量化处理。2.根据权利要求1所述的方法，其特征在于，将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组，包括：针对每个特征张量，确定所述特征张量的每个通道上的最大特征值；按照各个通道对应的所述最大特征值从大到小的顺序，将所述特征张量包括的通道划分为多个通道组。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取所述目标神经网络对应的校准数据集，其中，所述校准数据集中包括多个校准图像；将所述校准数据集输入至所述目标神经网络中，得到每个所述校准图像在所述至少一个网络处理层下对应的输出特征数据；其中，所述输出特征数据的通道数与所述特征张量中的输出特征张量的通道数一致；将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组，包括：基于各个所述校准图像分别对应的所述输出特征数据，确定与所述特征张量中的输出特征张量的每个通道对应的校准图像的目标特征值；按照所述目标特征值从大到小的顺序，将所述输出特征张量的多个通道划分为多个通道组。4.根据权利要求3所述的方法，其特征在于，所述基于各个所述校准图像分别对应的所述输出特征数据，确定与所述特征张量中的输出特征张量的每个通道对应的所述校准图像的目标特征值，包括：针对所述输出特征张量的每个目标通道，确定各个校准图像分别对应的所述输出特征数据中，与所述目标通道匹配的所述校准图像的候选通道；并确定每个所述候选通道中包括的最大特征值；基于各个所述校准图像的所述候选通道中包括的最大特征值，确定与所述输出特征量的所述目标通道对应的所述校准图像的目标特征值。5.根据权利要求1～4任一所述的方法，其特征在于，所述基于各个所述通道组内分别对应的所述目标最大值和所述目标最小值，对所述目标神经网络的推理过程进行量化处理，包括：基于每个通道所属通道组对应的所述目标最大值和所述目标最小值，确定每个通道对应的量化系数；基于各个通道分别对应的量化系数，对所述目标神经网络的推理过程进行量化处理。2CN113705791A权利要求书2/2页6.根据权利要求5所述的方法，其特征在于，所述基于每个通道所属通道组对应的所述目标最大值和所述目标最小值，确定每个通道对应的量化系数，包括：基于所述每个通道对应的所述目标最大值和所述目标最小值、以及设置的量化后的数值存储位数，确定每个通道对应的缩放因子；基于每个通道对应的所述缩放因子，确定所述每个通道对应的量化系数。7.根据权利要求6所述的方法，其特征在于，在所述网络处理层对应的特征张量包括输入特征张量、输出特征张量、和权重特征张量的情况下，所述基于每个通道对应的所述缩放因子，确定所述每个通道对应的量化系数，包括：针对所述网络处理层对应的特征张量中的每个通道，基于所述通道在输入特征张量中对应的第一缩放因子、在输出特征张量中对应的第二缩放因子、在权重特征张量中对应的第三缩放因子，确定所述通道对应的量化系数。8.根据权利要求7所述的方法，其特征在于，所述基于所述通道在输入特征张量中对应的第一缩放因子、在输出