神经网络模型的训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111144567A(43)申请公布日2020.05.12(21)申请号201911415075.5(22)申请日2019.12.31(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人蒋亮温祖杰梁忠平张家兴(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书4页说明书13页附图4页(54)发明名称神经网络模型的训练方法及装置(57)摘要本说明书实施例提供一种神经网络模型的训练方法及装置。模型训练过程包括若干子训练过程，一个子训练过程包括预设数量个训练周期。在第N子训练过程的第M训练周期中，当第N子训练过程非首个子训练过程，且第M训练周期非首个训练周期时，基于第N-1子训练过程的最后一个训练周期训练结束时得到的第一目标模型，以及第N子训练过程中的第M-1训练周期训练结束时得到的第二目标模型，对待训练神经网络模型的训练过程进行调整，更新待训练神经网络模型。CN111144567ACN111144567A权利要求书1/4页1.一种神经网络模型的训练方法，通过计算机执行，所述神经网络模型的模型训练过程包括若干子训练过程，任意一个子训练过程包括预设数量个训练周期，每个训练周期对应于使用训练样本集中所有样本数据进行模型训练的过程；所述神经网络模型用于对输入的业务数据进行业务预测；所述方法包括：获取当前的第N子训练过程中第M训练周期的待训练神经网络模型；获取所述训练样本集中的第一样本数据和对应的第一标注数据；将所述第一样本数据输入所述待训练神经网络模型，得到所述第一样本数据的第一预测数据；当所述第N子训练过程不是第一个子训练过程，且所述第M训练周期不是所述第N子训练过程中的第一个训练周期时，基于第一目标模型获取所述第一样本数据的第二预测数据，基于第二目标模型获取所述第一样本数据的第三预测数据；其中，所述第一目标模型是第N-1子训练过程的最后一个训练周期训练结束时得到的神经网络模型，所述第二目标模型是所述第N子训练过程中的第M-1训练周期训练结束时得到的神经网络模型；根据所述第一标注数据、所述第二预测数据和所述第三预测数据分别与所述第一预测数据之间的比较，确定第一预测损失；向使得所述第一预测损失减小的方向，更新所述待训练神经网络模型。2.根据权利要求1所述的方法，还包括：检测所述第一样本数据是否为所述训练样本集中的最后一个样本数据；如果是，则将更新后的待训练神经网络模型确定为所述第M训练周期结束时得到的神经网络模型。3.根据权利要求1所述的方法，还包括：当所述第N子训练过程不是第一个子训练过程，且所述第M训练周期是所述第N子训练过程中的第一个训练周期时，基于第一目标模型获取所述第一样本数据的第二预测数据；其中，所述第一目标模型是第N-1子训练过程的最后一个训练周期训练结束时得到的神经网络模型；根据所述第一标注数据和所述第二预测数据分别与所述第一预测数据之间的比较，确定第二预测损失；向使得所述第二预测损失减小的方向，更新所述待训练神经网络模型。4.根据权利要求1所述的方法，还包括：当所述第N子训练过程是第一个子训练过程，且所述第M训练周期不是所述第N子训练过程中的第一个训练周期时，基于第二目标模型获取所述第一样本数据的第三预测数据；其中，所述第二目标模型是所述第N子训练过程中的第M-1训练周期训练结束时得到的神经网络模型；根据所述第一标注数据和所述第三预测数据分别与所述第一预测数据之间的比较，确定第三预测损失；向使得所述第三预测损失减小的方向，更新所述待训练神经网络模型。5.根据权利要求1所述的方法，还包括：当所述第N子训练过程是第一个子训练过程，且所述第M训练周期是所述第N子训练过程中的第一个训练周期时，根据所述第一标注数据和所述第一预测数据之间的比较，确定2CN111144567A权利要求书2/4页第四预测损失；向使得所述第四预测损失减小的方向，更新所述待训练神经网络模型。6.根据权利要求1所述的方法，所述根据所述第一标注数据、所述第二预测数据和所述第三预测数据分别与所述第一预测数据之间的比较，确定第一预测损失的步骤，包括：根据所述第一标注数据与所述第一预测数据的比较，确定第一子预测损失；根据所述第一预测数据与所述第二预测数据的比较，确定第二子预测损失；根据所述第一预测数据与所述第三预测数据的比较，确定第三子预测损失；根据所述第一子预测损失、所述第二子预测损失和所述第三子预测损失的和值，确定第一预测损失。7.根据权利要求6所述的方法，所述第一标注数据为标注值，