模型参数的处理方法、装置、计算机设备和可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113919498A(43)申请公布日2022.01.11(21)申请号202111271519.X(22)申请日2021.10.29(71)申请人京东科技信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼6层601(72)发明人沈力刘世伟(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人孙静刘芳(51)Int.Cl.G06N3/08(2006.01)权利要求书2页说明书13页附图3页(54)发明名称模型参数的处理方法、装置、计算机设备和可读存储介质(57)摘要本申请提供一种模型参数的处理方法、装置、计算机设备和可读存储介质，其中，该方法包括：获取预设模型的第一参数和第二参数，根据预设比率，从所述第二参数中移除出目标数量的第三参数，在所述第一参数和所述第三参数中选取出目标参数，将所述目标参数再生回所述预设模型中。该技术方案中，通过在剪枝后剩余的第二参数中移除出目标数量的第三参数，然后从被剪枝掉的第一参数和被移除掉的第三参数中选择出目标参数，再生回模型中，能够实现参数的零成本再生，避免剪枝过程中重要的参数被剪掉无法再生回来，提高模型的预测精度。CN113919498ACN113919498A权利要求书1/2页1.一种模型参数的处理方法，其特征在于，包括：获取预设模型的第一参数和第二参数，所述第一参数为所述预设模型在进行参数剪枝时所剪枝掉的参数，所述第二参数为所述预设模型在参数剪枝后剩余的参数；根据预设比率，从所述第二参数中移除出目标数量的第三参数；在所述第一参数和所述第三参数中选取出目标参数，将所述目标参数再生回所述预设模型中。2.根据权利要求1所述的方法，其特征在于，所述根据预设比率，从所述第二参数中移除出目标数量的第三参数，包括：获取所述第二参数的总数量，根据所述第二参数的总数量和所述预设比率，确定所述目标数量；获取所述第二参数中各个参数的数值，根据所述第二参数中各个参数的数值大小，从所述第二参数中确定出所述目标数量的第三参数，所述数值用于表征所述参数对所述预设模型的损失函数的重要性；将所述第三参数从所述第二参数中移除。3.根据权利要求2所述的方法，其特征在于，所述根据所述第二参数中各个参数的数值大小，从所述第二参数中确定出所述目标数量的第三参数，包括：根据所述第二参数中各个参数的数值大小，对所述第二参数中各个参数进行排序，得到第一排列结果；根据所述目标数量和所述第一排列结果，确定第一阈值；从所述第一排列结果中选取出数值小于或等于所述第一阈值的参数作为所述第三参数。4.根据权利要求1所述的方法，其特征在于，所述在所述第一参数和所述第三参数中选取出目标参数，包括：获取所述第一参数和第三参数中各个参数的数值，所述数值用于表征所述参数对所述预设模型的损失函数的重要性；根据所述第一参数和第三参数中各个参数的数值大小，从所述第一参数和第三参数中选取出目标参数。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一参数和第三参数中各个参数的数值大小，从所述第一参数和第三参数中选取出目标参数，包括：根据所述第一参数和第三参数中各个参数的数值大小，对所述第一参数和第三参数中各个参数进行排序，得到第二排序结果；获取参数再生数量，所述参数再生数量用于指示所述目标参数的数量；根据所述参数再生数量和所述第二排序结果，确定第二阈值；从所述第二排列结果中选取出数值大于所述第二阈值的参数，作为所述目标参数。6.根据权利要求5所述的方法，其特征在于，所述获取参数再生数量，包括：获取所述第三参数的目标数量作为所述参数再生数量。7.根据权利要求1所述的方法，其特征在于，所述获取预设模型的第一参数和第二参数，包括：获取所述预设模型在训练过程中的训练持续时长；2CN113919498A权利要求书2/2页根据所述训练持续时长，确定当前剪枝率；根据所述当前剪枝率和所述预设模型中的参数的总数量，确定待剪枝的参数的数量；根据所述待剪枝的参数的数量，对所述预设模型进行剪枝，得到所述预设模型的第一参数和第二参数。8.根据权利要求7所述的方法，其特征在于，所述根据所述训练持续时长，确定当前剪枝率，包括：获取所述预设模型的初始稀疏度、目标稀疏度、剪枝开始时间、剪枝结束时间和预设剪枝间隔；根据所述训练持续时长、初始稀疏度、目标稀疏度、剪枝开始时间、剪枝结束时间和预设剪枝间隔，计算得到所述当前剪枝率。9.根据权利要求7所述的方法，其特征在于，所述根据所述当前剪枝率，对所述预设模型进行剪枝，得到所述预设模型的第一参数和第二参数，包括：获取所述预设模型中各个参数的数值大小；根据所述当前剪枝率和所述预设模型中的参数的总数量，确定第三阈值；将所述预设模型中的数值小