神经网络模型的融合训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111291886A(43)申请公布日2020.06.16(21)申请号202010131424.7(22)申请日2020.02.28(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人蒋亮温祖杰梁忠平张家兴(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N3/08(2006.01)权利要求书4页说明书13页附图3页(54)发明名称神经网络模型的融合训练方法及装置(57)摘要本说明书实施例提供一种神经网络模型的融合训练方法及装置。通过神经网络模型的模型训练过程包括若干训练周期，每个训练周期对应于使用训练样本集中所有样本数据进行模型训练的过程，神经网络模型用于对输入的业务数据进行业务预测。在当前的第一训练周期中，当第一训练周期不是第一个训练周期时，基于第一训练周期之前的训练周期训练结束时得到的神经网络模型对第一样本数据的预测数据的累积，而得到的第一目标预测数据，即根据第一目标预测数据对待训练神经网络模型的训练过程进行调整，更新待训练神经网络模型。CN111291886ACN111291886A权利要求书1/4页1.一种神经网络模型的融合训练方法，通过计算机执行，所述神经网络模型的模型训练过程包括若干训练周期，每个训练周期对应于使用训练样本集中所有样本数据进行模型训练的过程；所述神经网络模型用于对输入的业务数据进行业务预测，所述方法包括：获取当前的第一训练周期的待训练神经网络模型；获取所述训练样本集中的第一样本数据和对应的第一标注数据，将所述第一样本数据输入所述待训练神经网络模型，并得到所述第一样本数据的第一预测数据；当所述第一训练周期不是第一个训练周期时，获取针对所述第一样本数据的第一目标预测数据；其中，所述第一目标预测数据基于对第一历史预测数据的累积而得到，所述第一历史预测数据包括所述第一训练周期之前的训练周期训练结束时得到的神经网络模型对所述第一样本数据的预测数据；根据所述第一标注数据和所述第一目标预测数据分别与所述第一预测数据之间的比较，确定第一预测损失；向使得所述第一预测损失减小的方向，更新所述待训练神经网络模型。2.根据权利要求1所述的方法，还包括：检测所述第一样本数据是否为所述训练样本集中的最后一个样本数据；如果是，则将更新后的待训练神经网络模型确定为所述第一训练周期训练结束时得到的第一神经网络模型。3.根据权利要求2所述的方法，还包括：将所述第一样本数据输入所述第一神经网络模型，得到第三预测数据；将所述第三预测数据与所述第一目标预测数据融合，得到下一训练周期时针对所述第一样本数据的目标预测数据。4.根据权利要求1所述的方法，还包括：当所述第一训练周期是第一个训练周期时，直接根据所述第一标注数据和所述第一预测数据之间的比较，确定第二预测损失；向使得所述第二预测损失减小的方向，更新所述待训练神经网络模型。5.根据权利要求1所述的方法，所述获取针对所述第一样本数据的第一目标预测数据的步骤，包括：获取第二神经网络模型针对所述第一样本数据确定的第二预测数据；其中，所述第二神经网络模型在第二训练周期训练结束时得到，所述第二训练周期为所述第一训练周期的前一训练周期；当所述第二训练周期不是第一个训练周期时，获取针对所述第一样本数据的第二目标预测数据；其中，所述第二目标预测数据基于所述第二训练周期之前的训练周期训练结束时得到的神经网络模型对所述第一样本数据的预测数据的累积而得到；基于所述第二目标预测数据与所述第二预测数据的融合，确定针对所述第一样本数据的第一目标预测数据。6.根据权利要求5所述的方法，所述基于所述第二目标预测数据与所述第二预测数据的融合，确定针对所述第一样本数据的第一目标预测数据的步骤，包括：获取所述第二目标预测数据的第一权重，以及所述第二预测数据的第二权重；基于所述第一权重和所述第二权重，对所述第二目标预测数据和所述第二预测数据进2CN111291886A权利要求书2/4页行加权平均，得到针对所述第一样本数据的第一目标预测数据。7.根据权利要求6所述的方法，其中，所述第一权重小于所述第二权重。8.根据权利要求5所述的方法，所述获取针对所述第一样本数据的第一目标预测数据的步骤，还包括：当所述第二训练周期是第一个训练周期时，基于所述第二预测数据，确定针对所述第一样本数据的第一目标预测数据。9.根据权利要求1所述的方法，所述根据所述第一标注数据和所述第一目标预测数据分别与所述第一预测数据之间的比较，确定第一预测损失的步骤，包括：根据所述第一标注数据与所述第一预测数据之间的比较，确定第一子预测损失；根据所述第一