神经网络模型确定方法、装置、电子设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112101543A(43)申请公布日2020.12.18(21)申请号202010748015.1(22)申请日2020.07.29(71)申请人北京迈格威科技有限公司地址100086北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人李伯勋张弛(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人何少岩(51)Int.Cl.G06N3/08(2006.01)权利要求书2页说明书12页附图2页(54)发明名称神经网络模型确定方法、装置、电子设备及可读存储介质(57)摘要本申请提供一种神经网络模型确定方法、装置、电子设备及可读存储介质，涉及信息处理技术领域。该方法包括：获取神经网络模型中的初始模型参数；确定所述初始模型参数所对应的数学分布；根据所述数学分布，确定所述初始模型参数对应的量化参数；利用所述量化参数对所述神经网络模型中的所述初始模型参数进行量化处理，得到更新后的神经网络模型。本方案中考虑了模型参数的数学分布，这样可兼顾各层网络中的模型参数的一些数学规律，使得可以将模型参数量化在一个合理范围内，进而可在减少模型参数的存储空间，提高神经网络模型的计算速率的同时，也可以使得更新后的神经网络模型的精度得到相应提高。CN112101543ACN112101543A权利要求书1/2页1.一种神经网络模型确定方法，其特征在于，所述方法包括：获取神经网络模型中的初始模型参数；确定所述初始模型参数所对应的数学分布；根据所述数学分布，确定所述初始模型参数对应的量化参数；利用所述量化参数对所述神经网络模型中的所述初始模型参数进行量化处理，得到更新后的神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述数学分布，确定所述初始模型参数对应的量化参数，包括：根据所述数学分布，确定所述神经网络模型的目标网络层中的初始模型参数之间的离散程度；基于所述离散程度确定所述目标网络层的初始模型参数对应的量化参数。3.根据权利要求2所述的方法，其特征在于，所述确定所述神经网络模型的目标网络层中的初始模型参数之间的离散程度，包括：计算获得所述神经网络模型的目标网络层中的初始模型参数之间的标准差，所述标准差用于表征所述离散程度。4.根据权利要求2或3所述的方法，其特征在于，所述基于所述离散程度确定所述目标网络层的初始模型参数对应的量化参数，包括：计算所述初始模型参数之间的标准差与预设系数之间的乘积，获得第一数值；将所述第一数值确定为所述目标网络层的初始模型参数对应的量化参数。5.根据权利要求1所述的方法，其特征在于，所述根据所述数学分布，确定所述初始模型参数对应的量化参数，包括：根据所述数学分布，确定所述神经网络模型的目标网络层中的初始模型参数的均值；基于所述均值确定所述目标网络层的初始模型参数对应的量化参数。6.根据权利要求5所述的方法，其特征在于，所述均值为所述初始模型参数的绝对值均值，所述基于所述均值确定所述目标网络层的初始模型参数对应的量化参数，包括：计算所述均值与预设系数之间的乘积，获得第二数值；将所述第二数值确定为所述目标网络层的初始模型参数对应的量化参数。7.根据权利要求1-6任一项所述的方法，其特征在于，所述神经网络模型的各个网络层的初始模型参数所对应的数学分布不同。8.根据权利要求1-6任一项所述的方法，其特征在于，所述初始模型参数为权重类型参数、中间结果类型参数或输出值类型参数，不同类型的初始模型参数所对应的数学分布不同。9.根据权利要求1-8任一项所述的方法，其特征在于，所述初始模型参数为浮点型参数，所述利用所述量化参数对所述神经网络模型中的所述初始模型参数进行量化处理，得到更新后的神经网络模型，包括：基于所述量化参数将对应的网络中每个初始模型参数转换为整数型参数，得到更新后的神经网络模型，所述整数型参数为量化后的模型参数。10.根据权利要求1-8任一项所述的方法，其特征在于，所述得到更新后的神经网络模型之后，还包括：2CN112101543A权利要求书2/2页对更新后的神经网络模型进行训练，获得训练后的神经网络模型。11.根据权利要求1-8任一项所述的方法，其特征在于，所述数学分布包括正态分布、半正态分布、伯努利分布、二项分布、多项分布中的至少一种。12.一种神经网络模型确定装置，其特征在于，所述装置包括：模型参数获取模块，用于获取神经网络模型中的初始模型参数；数学分布确定模块，用于确定所述初始模型参数所对应的数学分布；量化参数获取模块，用于根据所述数学分布，确定所述初始模型参数对应的量化参数；模型确定模块，用于利用所述量化参数对所述神经网络模型中的所述初始模型参数进行量化处理，得到更新后的神经网络模型。