模型训练方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115018072A(43)申请公布日2022.09.06(21)申请号202210634389.X(22)申请日2022.06.06(71)申请人上海商汤智能科技有限公司地址200233上海市徐汇区桂平路391号3号楼1605A室(72)发明人罗培超张行程(74)专利代理机构北京派特恩知识产权代理有限公司11270专利代理师任强张颖玲(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书3页说明书21页附图3页(54)发明名称模型训练方法、装置、设备及存储介质(57)摘要本公开实施例公开了一种模型训练方法、装置、设备及存储介质，其中，所述方法包括：损失函数缩放器创建接口基于缩放器构造参数，创建损失函数缩放器；在对深度学习模型进行的每一轮次混合精度训练的前向传播过程中，损失函数缩放器缩放接口基于所述损失函数缩放器，对所述深度学习模型在当前轮次混合精度训练中输出的损失值进行放大处理，得到放大后的所述损失值；在每一所述轮次混合精度训练的反向传播过程中，损失函数优化器迭代接口利用设定的优化器和所述损失函数缩放器，基于放大后的所述损失值，对所述深度学习模型中的网络参数进行更新，得到训练后的所述深度学习模型。CN115018072ACN115018072A权利要求书1/3页1.一种模型训练方法，其特征在于，所述方法包括：损失函数缩放器创建接口基于缩放器构造参数，创建损失函数缩放器；在对深度学习模型进行的每一轮次混合精度训练的前向传播过程中，损失函数缩放器缩放接口基于所述损失函数缩放器，对所述深度学习模型在当前轮次混合精度训练中输出的损失值进行放大处理，得到放大后的所述损失值；在每一所述轮次混合精度训练的反向传播过程中，损失函数优化器迭代接口利用设定的优化器和所述损失函数缩放器，基于放大后的所述损失值，对所述深度学习模型中的网络参数进行更新，得到训练后的所述深度学习模型。2.根据权利要求1所述的方法，其特征在于，所述损失函数缩放器中包括目标缩放值，所述缩放器构造参数包括所述目标缩放值的初始值和所述目标缩放值的缩放更新参数；所述损失函数缩放器创建接口基于缩放器构造参数，创建损失函数缩放器，包括：损失函数缩放器创建接口基于所述初始值和所述缩放更新参数，创建所述损失函数缩放器；其中，所述缩放更新参数包括以下至少之一：成长周期、成长系数和回退系数。3.根据权利要求2所述的方法，其特征在于，所述方法还包括以下至少之一：所述损失函数缩放器缩放接口基于所述缩放更新参数，对当前的所述目标缩放值进行更新，得到更新后的所述目标缩放值；所述损失函数优化器迭代接口基于所述缩放更新参数，对当前的所述目标缩放值进行更新，得到更新后的所述目标缩放值。4.根据权利要求3所述的方法，其特征在于，在所述缩放更新参数包括成长周期和成长系数的情况下，所述损失函数缩放器缩放接口基于所述缩放更新参数，对当前的所述目标缩放值进行更新，得到更新后的所述目标缩放值，包括：所述损失函数缩放器缩放接口确定当前连续得到的放大后的第二损失值均未发生溢出的混合精度训练的第一轮数；所述损失函数缩放器缩放接口在所述第一轮数达到所述成长周期的情况下，基于所述成长系数对当前的所述目标缩放值进行放大处理，得到放大后的所述目标缩放量。5.根据权利要求3或4所述的方法，其特征在于，在所述缩放更新参数包括回退系数的情况下，所述损失函数缩放器缩放接口基于所述缩放更新参数，对当前的所述目标缩放值进行更新，得到更新后的所述目标缩放值，包括：所述损失函数缩放器缩放接口在当前轮次混合精度训练中放大后的第二损失值发生溢出的情况下，基于所述回退系数对当前的所述目标缩放值进行缩小处理，得到缩小后的所述目标缩放量，并在当前轮次混合精度训练中停止对所述深度学习模型中的网络参数进行更新。6.根据权利要求3至5中任一项所述的方法，其特征在于，在所述缩放更新参数包括成长周期和成长系数的情况下，所述损失函数优化器迭代接口基于所述缩放更新参数，对当前的所述目标缩放值进行更新，得到更新后的所述目标缩放值，包括：所述损失函数优化器迭代接口确定当前连续对所述深度学习模型中的网络参数进行更新的过程中所述网络参数均未发生溢出的混合精度训练的第二轮数；所述损失函数优化器迭代接口在所述第二轮数达到所述成长周期的情况下，基于所述2CN115018072A权利要求书2/3页成长系数对当前的所述目标缩放值进行放大处理，得到放大后的所述目标缩放量。7.根据权利要求3至6中任一项所述的方法，其特征在于，在所述缩放更新参数包括回退系数的情况下，所述损失函数优化器迭代接口基于所述缩放更新参数，对当前的所述目标缩放值进行更新，得到更新后的所述目标缩放值，包括：所述