模型量化方法、装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114201869A(43)申请公布日2022.03.18(21)申请号202111493718.5(22)申请日2021.12.08(71)申请人北京奕斯伟计算技术有限公司地址100176北京市北京经济技术开发区科创十街18号院3号楼1层101室(72)发明人邓帆朱思胡可飞李锐峰王继铭邱亮(74)专利代理机构北京市立方律师事务所11330代理人张筱宁(51)Int.Cl.G06F30/20(2020.01)G06F119/02(2020.01)权利要求书1页说明书8页附图6页(54)发明名称模型量化方法、装置及存储介质(57)摘要本申请提供了一种模型量化方法、装置及存储介质，涉及计算机技术领域。该方法包括：从预设的阈值范围中确定搜索中心；根据搜索中心确定搜索范围；根据搜索范围内的各个阈值对应的第二KL散度值，从搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值；根据目标阈值进行模型量化。本申请实施例的方法中，先对搜索范围通过锚定法进行粗搜索，确定最优锚点，再对最优锚点的邻域范围进行精确搜索，得到领域最优点，以领域最优点作为全局最优点使用，可以大大降低计算耗时，提升模型量化速度。CN114201869ACN114201869A权利要求书1/1页1.一种模型量化方法，其特征在于，包括：从预设的阈值范围中确定搜索中心；根据所述搜索中心确定搜索范围；根据所述搜索范围内的各个阈值对应的第二KL散度值，从所述搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值；根据所述目标阈值进行模型量化。2.根据权利要求1所述的方法，其特征在于，所述从预设的阈值范围中确定搜索中心，包括：从预设的所述阈值范围内获取多个锚点；根据各个所述锚点对应的第一KL散度值，从多个所述锚点中确定搜索中心。3.根据权利要求2所述的方法，其特征在于，所述从预设的所述阈值范围内获取多个锚点，包括：按照预设步长，从预设的所述阈值范围内获取多个锚点。4.根据权利要求2所述的方法，其特征在于，所述根据多个所述锚点的KL散度值，从多个所述锚点中确定搜索中心，包括：计算各个锚点对应的第一KL散度值；将多个所述第一KL散度值中的最小值对应的锚点确定为所述搜索中心。5.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述搜索中心确定搜索范围，包括：将与所述搜索中心相邻的锚点之间的阈值，确定为所述搜索范围。6.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述搜索范围内的各个阈值对应的第二KL散度值，从所述搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值，包括：针对所述搜索范围内的阈值，逐个计算对应的第二KL散度值；将多个第二KL散度值中的最小值对应的阈值，确定为所述目标阈值，以作为模型量化后的映射范围的最大值。7.一种模型量化装置，其特征在于，包括：确定模块，用于从预设的阈值范围中确定搜索中心；还用于根据所述搜索中心确定搜索范围；还用于根据所述搜索范围内的各个阈值对应的第二KL散度值，从所述搜索范围内的阈值中确定出目标阈值，以作为模型量化后的映射范围的最大值；量化模块，用于根据所述目标阈值进行模型量化。8.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1‑6任一项所述的模型量化方法的步骤。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1‑6任一项所述的模型量化方法的步骤。10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1‑6任一项所述的模型量化方法的步骤。2CN114201869A说明书1/8页模型量化方法、装置及存储介质技术领域[0001]本申请涉及计算机技术领域，具体而言，本申请涉及一种模型量化方法、装置及计算机可读存储介质。背景技术[0002]在模型量化过程中，一般不选用最大值映射数据，而是通过计算得出合适的映射最大值。要获得合适的映射最大值，可以通过计算原始数据与映射数据的分布相似性来判断映射最大值的取值是否合理，其中，数据的分布相似度就是Kullback‑Leibler散度值(简称KL散度值)，KL散度值越小说明两个分布越相似。[0003]现有技术中，在计算KL时通常会遍历从128到2048个阈值，这样计算耗时较多，严重影响模型量化速度。发明内容[0004]本申请实施例提供了一种模型量化方法、装置及计算机可读存储介质，旨在解决现有技术中的至少一个技术问题。[0005]根据本申请实施例的一个方面，提供了一种模型量化方法，该方法包括：[0006]从预设的阈值范围中