神经网络模型的训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762502A(43)申请公布日2021.12.07(21)申请号202110437224.9(22)申请日2021.04.22(71)申请人腾讯科技（深圳）有限公司地址518000广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人黄雪(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人刘晖铭张颖玲(51)Int.Cl.G06N3/08(2006.01)G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书16页附图6页(54)发明名称神经网络模型的训练方法及装置(57)摘要本申请提供了一种神经网络模型的训练方法及装置，涉及人工智能技术及云技术；方法包括：通过神经网络模型对标注有目标标签的训练样本进行预测，得到所述训练样本的预测标签；获取所述目标标签与所述预测标签之间的误差，并在所述神经网络模型中对所述误差进行反向传播；获取所述神经网络模型包含的各个网络层的缩放值，所述缩放值用于指示对反向传播至相应网络层的误差进行缩小或放大的比例；在反向传播所述误差的过程中，分别基于所述神经网络模型的各个网络层的缩放值，对反向传播至相应网络层的误差进行缩放处理；基于缩放处理后的误差，对所述神经网络模型的模型参数进行更新。通过本申请，能够提升训练得到的神经网络模型的预测精度。CN113762502ACN113762502A权利要求书1/2页1.一种神经网络模型的训练方法，其特征在于，包括：通过神经网络模型对标注有目标标签的训练样本进行预测，得到所述训练样本的预测标签；获取所述目标标签与所述预测标签之间的误差，并在所述神经网络模型中对所述误差进行反向传播；获取所述神经网络模型包含的各个网络层的缩放值，所述缩放值用于指示对反向传播至相应网络层的误差进行缩小或放大的比例；在反向传播所述误差的过程中，分别基于所述神经网络模型的各个网络层的缩放值，对反向传播至相应网络层的误差进行缩放处理；基于缩放处理后的误差，对所述神经网络模型的模型参数进行更新。2.如权利要求1所述的方法，其特征在于，所述获取所述目标标签与所述预测标签之间的误差，包括：根据所述目标标签与所述预测标签，确定损失函数的值；获取所述神经网络模型的全局缩放值；获取所述损失函数的值与所述全局缩放值的乘积，将所述乘积作为所述目标标签与所述预测标签之间的误差。3.如权利要求2所述的方法，其特征在于，所述方法还包括：在反向传播所述误差的过程中，获取各个所述网络层的梯度值；确定至少一个网络层的梯度值发生溢出时，停止对所述神经网络模型的参数更新，并调整所述全局缩放值。4.如权利要求1所述的方法，其特征在于，所述方法还包括：在反向传播所述误差的过程中，获取各个所述网络层的梯度值；确定至少一个网络层的梯度值的置零比达到预设比例时，更新所述至少一个网络层的缩放值。5.如权利要求1所述的方法，其特征在于，所述分别基于所述神经网络模型的各个网络层的缩放值，对反向传播至相应网络层的误差进行缩放处理，包括：对于所述神经网络模型的各个网络层中除反向传播的第一个网络层外的每一网络层，执行以下操作：将经所述网络层的相邻网络层进行缩放处理后的误差，作为反向传播至所述网络层的误差；获取反向传播至所述网络层的误差与所述网络层的缩放值的乘积，得到所述网络层的第一误差；获取所述第一误差与所述相邻网络层的缩放值的比值，得到所述网络层的缩放处理后的误差。6.如权利要求1所述的方法，其特征在于，所述分别基于所述神经网络模型的各个网络层的缩放值，对反向传播至相应网络层的误差进行缩放处理，包括：对于反向传播的第一个网络层，获取所述误差与所述第一个网络层的缩放值的乘积，得到所述第一个网络层的第二误差；对所述第二误差进行求导处理，得到所述第一个网络层的缩放处理后的误差。2CN113762502A权利要求书2/2页7.如权利要求1所述的方法，其特征在于，所述神经网络模型的模型参数包括各个所述网络层的权重，所述基于缩放处理后的误差，对所述神经网络模型的模型参数进行更新，包括：获取各个所述网络层的输入值；分别获取各个所述网络层的输入值与相应网络层缩放处理后的误差的乘积，得到各个所述网络层的初始梯度值；基于各个所述网络层的缩放值，对相应网络层的初始梯度值进行反向缩放处理，得到各所述网络层的梯度值；分别基于各个所述网络层的梯度值，对所述神经网络模型包含的各个所述网络层的权重进行更新。8.如权利要求1所述的方法，其特征在于，所述通过神经网络模型对标注有目标标签的训练样本进行预测，得到所述训练样本的预测标签，包括：通过神经网络模型，采用第一数据精度，对标注有目标标签的训练样本进行预测，得到所述训练样本的预测标签；所述获取