分类模型的训练方法、超参数的搜索方法以及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114078195A(43)申请公布日2022.02.22(21)申请号202010787442.0(22)申请日2020.08.07(71)申请人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼(72)发明人周彧聪钟钊(74)专利代理机构北京龙双利达知识产权代理有限公司11329代理人王龙华王君(51)Int.Cl.G06V10/764(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书25页附图5页(54)发明名称分类模型的训练方法、超参数的搜索方法以及装置(57)摘要本申请涉及人工智能技术领域公开了一种分类模型的训练方法、超参数的搜索方法以及装置，训练方法包括获取待训练分类模型的目标超参数，所述目标超参数用于控制所述待训练分类模型的梯度更新步长，所述待训练分类模型包括缩放不变性线性层，所述缩放不变性线性层使得所述待训练分类模型的权重参数乘以任意缩放系数时输出的预测分类结果保持不变；根据所述目标超参数与目标训练方式对所述待训练分类模型的权重参数进行更新，得到训练后的分类模型，所述目标训练方式使得所述待训练分类模型更新前与更新后的权重参数的模长相同。基于本申请的技术方案能够在确保分类模型的精度的情况下，降低训练分类模型所消耗的计算资源。CN114078195ACN114078195A权利要求书1/4页1.一种分类模型的训练方法，其特征在于，包括：获取待训练分类模型的目标超参数，所述目标超参数用于控制所述待训练分类模型的梯度更新步长，所述待训练分类模型包括缩放不变性线性层，所述缩放不变性线性层使得所述待训练分类模型的权重参数乘以任意缩放系数时输出的预测分类结果保持不变；根据所述目标超参数与目标训练方式对所述待训练分类模型的权重参数进行更新，得到训练后的分类模型，所述目标训练方式使得所述待训练分类模型更新前与更新后的权重参数的模长相同。2.如权利要求1所述的训练方法，其特征在于，所述训练后的分类模型的权重参数是根据所述目标超参数和所述目标训练方式通过反向传播算法多次迭代更新得到的。3.如权利要求1或2所述的训练方法，其特征在于，所述缩放不变性线性层根据以下公式得到所述预测分类结果：其中，Yi表示第i次迭代更新的权重参数对应的预测分类结果；Wi表示所述第i次迭代更新的权重参数；X表示待分类特征；S表示尺度常数。4.如权利要求1至3中任一项所述的训练方法，其特征在于，所述目标训练方式包括：通过以下公式对所述更新后的权重参数进行处理，使得所述待训练分类模型更新前与更新后的权重参数的模长相同：其中，Wi+1表示第i+1次迭代更新的权重参数；Wi表示第i次迭代更新的权重参数；Norm0表示所述待训练分类模型的初始权重模长。5.一种超参数的搜索方法，其特征在于，包括：获取目标超参数的候选值，所述目标超参数用于控制待训练分类模型的梯度更新步长，所述待训练分类模型包括缩放不变性线性层，所述缩放不变性线性层使得所述待训练分类模型的权重参数乘以任意缩放系数时输出的预测分类结果保持不变；根据所述候选值与目标训练方式，得到所述待训练分类模型的性能参数，所述目标训练方式使得所述待训练分类模型更新前与更新后的权重参数的模长相同，所述性能参数包括所述待训练分类模型的精度；根据所述性能参数从所述候选值中确定所述目标超参数的目标值。6.如权利要求5所述的搜索方法，其特征在于，所述目标值对应的所述待训练分类模型的精度大于所述候选值中其它候选值对应的所述待训练分类模型的精度。7.如权利要求5或6所述的搜索方法，其特征在于，所述获取目标超参数的候选值，包括：根据所述目标超参数的初始搜索范围进行均匀划分，得到所述目标超参数的候选值。8.如权利要求7所述的搜索方法，其特征在于，还包括：根据当前训练步数、预先配置的训练步数以及所述待训练分类模型的精度的变化趋势更新所述目标超参数的初始搜索范围。2CN114078195A权利要求书2/4页9.如权利要求8所述的搜索方法，其特征在于，所述根据当前训练步数、预先配置的训练步数以及所述待训练分类模型的精度的变化趋势更新所述目标超参数的初始搜索范围，包括：若所述当前训练步数小于所述预先配置的训练步数，则将所述目标超参数的初始搜索范围的上边界更新为所述当前训练步数中所述待训练分类模型的最优精度对应的所述目标超参数的候选值。10.如权利要求8所述的搜索方法，其特征在于，所述根据当前训练步数、预先配置的训练步数以及所述待训练分类模型的精度的变化趋势更新所述目标超参数的初始搜索范围，包括：若所述当前训练步数等于所述预先配置的