精度调整方法及装置、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113688988A(43)申请公布日2021.11.23(21)申请号202111007332.9(22)申请日2021.08.30(71)申请人北京灵汐科技有限公司地址100080北京市海淀区北四环西路67号8层801(72)发明人祝夭龙何伟(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人林祥(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书13页附图4页(54)发明名称精度调整方法及装置、存储介质(57)摘要本公开提供了一种精度调整方法及装置、存储介质。其中，该方法包括：确定目标函数对神经网络模型中每个神经元权重参数的目标偏导数，所述目标函数用于指示训练完成后的所述神经网络模型的输出值与所述神经网络模型的期望值之间的误差；基于所述目标偏导数，确定所述每个神经元权重参数对应的目标权重精度；基于所述每个神经元权重参数对应的所述目标权重精度，对所述神经网络模型中的至少一个神经元权重参数的精度进行调整。本公开实现了灵活配置神经元权重参数的精度的目的，既可以确保人工智能芯片的较高识别率，又可以降低神经网络模型的大小。CN113688988ACN113688988A权利要求书1/2页1.一种精度调整方法，其特征在于，所述方法包括：确定目标函数对神经网络模型中每个神经元权重参数的目标偏导数，所述目标函数用于指示训练完成后的所述神经网络模型的输出值与所述神经网络模型的期望值之间的误差；基于所述目标偏导数，确定所述每个神经元权重参数对应的目标权重精度；基于所述每个神经元权重参数对应的所述目标权重精度，对所述神经网络模型中的至少一个神经元权重参数的精度进行调整。2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的输入值为多组样本数据，则所述目标函数的数目为多个；所述确定目标函数对神经网络模型中每个神经元权重参数的目标偏导数，包括：确定多个所述目标函数分别对所述每个神经元权重参数的偏导数，得到所述每个神经元权重参数对应的多个第一备选偏导数；基于所述多个第一备选偏导数，确定所述每个神经元权重参数对应的所述目标偏导数。3.根据权利要求2所述的方法，其特征在于，所述基于所述多个第一备选偏导数，确定所述每个神经元权重参数对应的所述目标偏导数，包括以下任一项：基于所述多个第一备选偏导数的平均值，确定所述每个神经元权重参数对应的所述目标偏导数；或，基于所述多个第一备选偏导数中的最大值和/或最小值，确定所述每个神经元权重参数对应的所述目标偏导数。4.根据权利要求1所述的方法，其特征在于，所述确定目标函数对神经网络模型中每个神经元权重参数的目标偏导数，包括：确定所述目标函数分别对属于所述神经网络模型同一层的多个神经元权重参数的偏导数，得到多个第二备选偏导数；基于所述多个第二备选偏导数，确定属于所述同一层的所述每个神经元权重参数对应的所述目标偏导数。5.根据权利要求1‑4任一项所述的方法，其特征在于，所述基于所述目标偏导数，确定所述每个神经元权重参数对应的目标权重精度，包括：响应于确定任一神经元权重参数对应的所述目标偏导数大于或等于预设阈值，确定所述神经元权重参数对应的所述目标权重精度为第一精度；响应于确定任一神经元权重参数对应的所述目标偏导数小于预设阈值，确定所述神经元权重参数对应的所述目标权重精度为第二精度；其中，所述第一精度大于所述第二精度。6.根据权利要求1‑4任一项所述的方法，其特征在于，所述基于所述目标偏导数，确定所述每个神经元权重参数对应的目标权重精度，包括：响应于确定任一神经元权重参数对应的所述目标偏导数大于或等于预设阈值，确定所述神经元权重参数对应的所述目标权重精度为第三精度；响应于确定任一神经元权重参数对应的所述目标偏导数小于预设阈值，确定所述神经元权重参数对应的所述目标权重精度为第四精度；2CN113688988A权利要求书2/2页其中，所述第三精度小于所述第四精度。7.根据权利要求4所述的方法，其特征在于，属于所述同一层的所述每个神经元权重参数对应的所述目标权重精度为同一精度或属于同一精度范围。8.根据权利要求1‑4任一项所述的方法，其特征在于，在所述基于所述每个神经元权重参数对应的所述目标权重精度，对所述神经网络模型中的至少一个神经元权重参数的精度进行调整之前，所述方法还包括以下任一项：确定任一神经元权重参数的精度与所述神经元权重参数对应的所述目标权重精度为不同精度或属于不同的精度范围；或，确定任一神经元权重参数的精度与所述神经元权重参数对应的所述目标权重精度为不同精度或属于不同的精度范围，且所述神经元权重参数对应的所述目标偏导数小于预设阈值。9.根据权利要求8所述的方法，