一种对业务预测模型进行多方联合训练的方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114330673A(43)申请公布日2022.04.12(21)申请号202210250437.5(22)申请日2022.03.15(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑龙飞陈超超王力张本宇(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06Q10/06(2012.01)权利要求书4页说明书19页附图4页(54)发明名称一种对业务预测模型进行多方联合训练的方法及装置(57)摘要本说明书实施例提供了一种对业务预测模型进行多方联合训练的方法及装置。其中，第一设备和第二设备分别拥有完整模型中的第一部分模型和第二部分模型。第一设备利用第一输入数据确定第一部分模型的第一输出数据，并将其发送至第二设备，接着，基于第一输出数据确定用于对第一部分模型进行更新的第一梯度分片。第二设备利用第一设备发送的第一输出数据确定第二部分模型的第二输出数据。然后，第二设备基于第二输出数据和第一输出数据，确定用于对第一部分模型进行更新的第二梯度分片，并将其发送至第一设备。这样，第一设备可以利用第一梯度分片和第二梯度分片，对第一部分模型进行更新。在该过程中，多个设备并不将各自的隐私数据向外发送。CN114330673ACN114330673A权利要求书1/4页1.一种对业务预测模型进行多方联合训练的方法，其中，第一设备和第二设备分别拥有业务预测模型中的第一部分模型和第二部分模型，所述方法包括：所述第一设备，获取第一输入数据，利用所述第一输入数据确定所述第一部分模型的第一输出数据，并将其发送至所述第二设备；基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片；所述第二设备，接收所述第一设备发送的第一输出数据，并基于所述第一输出数据确定第二输入数据，利用所述第二输入数据确定所述第二部分模型的第二输出数据；基于所述第二输出数据和所述第一输出数据，确定用于对所述第一部分模型进行更新的第二梯度分片，并将其发送至所述第一设备；所述第一设备，接收所述第二设备发送的第二梯度分片，利用所述第一梯度分片和所述第二梯度分片，对所述第一部分模型进行更新。2.根据权利要求1所述的方法，所述基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：在接收所述第二设备发送的第二梯度分片之前，基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片。3.根据权利要求1所述的方法，所述第一部分模型包含多个计算层；所述基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：基于所述第一输出数据，确定所述第一部分模型中多个计算层分别对应的第一梯度分片；所述利用所述第一梯度分片和所述第二梯度分片，对所述第一部分模型进行更新的步骤，包括：针对任意一个计算层，利用该计算层的第一梯度分片和所述第二梯度分片，对该计算层中的模型参数进行更新。4.根据权利要求1所述的方法，所述基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：基于所述第一输出数据对所述第一部分模型的偏导数，确定所述第一梯度分片。5.根据权利要求4所述的方法，所述基于所述第一输出数据对所述第一部分模型的偏导数，确定所述第一梯度分片的步骤，包括：获取所述第一部分模型的计算图；利用所述计算图，确定所述第一输出数据对所述第一部分模型中多个模型参数的偏导数，基于多个偏导数确定所述第一梯度分片。6.根据权利要求1所述的方法，所述利用所述第一梯度分片和所述第二梯度分片，对所述第一部分模型进行更新的步骤，包括：基于所述第一梯度分片与所述第二梯度分片的乘积，确定针对所述第一部分模型的第一梯度；利用所述第一梯度，对所述第一部分模型进行更新。7.根据权利要求6所述的方法，所述基于所述第一梯度分片与所述第二梯度分片的乘积，确定针对所述第一部分模型的第一梯度的步骤，包括：分别将所述第一梯度分片和所述第二梯度分片进行展平；2CN114330673A权利要求书2/4页基于展平后的所述第一梯度分片和所述第二梯度分片的乘积，确定所述第一梯度。8.根据权利要求1所述的方法，所述第二输出数据为样本的标签预测值；所述第二设备，在确定所述第二梯度分片时，包括：基于所述第二输出数据确定样本的预测损失；基于所述预测损失和所述第一输出数据，确定所述第二梯度分片。9.根据权利要求1所述的方法，所述业务预测模型还包括第三部分模型，并配置在第三设备中；所述方法还包括：所述第三设备，基于本地