多方联合进行模型训练的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115688882A(43)申请公布日2023.02.03(21)申请号202211346080.7(22)申请日2022.10.31(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑龙飞王力(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06N3/0464(2023.01)G06N3/044(2023.01)G06N3/084(2023.01)G06N3/088(2023.01)G06F18/25(2023.01)权利要求书3页说明书13页附图4页(54)发明名称多方联合进行模型训练的方法及装置(57)摘要本说明书实施例提供一种多方联合进行模型训练的方法及装置。其中多方包括拥有样本标签的标签方和拥有样本特征的若干数据方；所述方法应用于其中任意一个数据方，包括：利用本地部署的第一模型处理与多方约定的第一批次样本标识对应的第一批次本地特征，得到第一输出，并将所述第一输出发送给所述标签方；基于若干第二批次本地特征，利用对比学习对所述第一模型进行第一更新；从所述标签方接收回传梯度，其基于各个数据方的第一输出、与所述第一批次样本标识对应的样本标签和所述标签方中部署的目标模型而确定；基于所述回传梯度，对经过所述第一更新的第一模型进行第二更新。如此可实现各方数据的隐私保护，并有效提升训练效率。CN115688882ACN115688882A权利要求书1/3页1.一种多方联合进行模型训练的方法，所述多方包括拥有样本标签的标签方和拥有样本特征的若干数据方；所述方法应用于其中任意一个数据方，包括：利用本地部署的第一模型处理与多方约定的第一批次样本标识对应的第一批次本地特征，得到第一输出，并将所述第一输出发送给所述标签方；基于若干第二批次本地特征，利用对比学习对所述第一模型进行第一更新；从所述标签方接收回传梯度，其基于各个数据方的第一输出、与所述第一批次样本标识对应的样本标签和所述标签方中部署的目标模型而确定；基于所述回传梯度，对经过所述第一更新的第一模型进行第二更新。2.根据权利要求1所述的方法，其中，所述标签方还拥有与所述第一批次样本标识对应的部分特征，所述目标模型用于对所述标签方的第一输出和所述各个数据方的第一输出进行融合，并基于融合结果得到预测结果；所述标签方的第一输出是利用其第一模型处理所述部分特征而得到的。3.根据权利要求1所述的方法，其中，所述若干数据方为多个数据方，所述目标模型用于对所述各个数据方的第一输出进行融合，并基于融合结果得到预测结果。4.根据权利要求1所述的方法，其中，所述任意一个数据方中分布式部署第一计算节点和第二计算节点；所述方法中的所述第一更新在所述第一计算节点上进行，其他步骤在所述第二计算节点上进行。5.根据权利要求4所述的方法，还包括：将所述第一计算节点上经过所述第一更新的模型参数，同步至所述第二计算节点。6.根据权利要求1所述的方法，其中，所述第一更新包括：对所述若干第二批次本地特征中的任一批次特征进行数据增广处理，得到增广特征；至少利用所述第一模型处理包括所述增广特征的特征集，得到其中各特征的表征输出；利用所述表征输出计算对比损失；根据所述对比损失，至少更新所述第一模型。7.根据权利要求6所述的方法，其中，对所述若干第二批次本地特征中的任一批次特征进行数据增广处理，得到增广特征，包括：针对与单个样本标识对应的本地特征，对其中的多个特征值进行随机遮蔽处理，得到对应的增广特征。8.根据权利要求6所述的方法，其中，至少利用所述第一模型处理包括所述增广特征的特征集，得到其中各特征的表征输出，包括：利用所述第一模型处理所述各特征，得到各特征的第一输出；利用本地部署的第二模型处理所述各特征的第一输出，得到各特征的第二输出，作为所述表征输出；根据所述对比损失，至少更新所述第一模型，包括：利用所述对比损失更新所述第一模型和第二模型。9.根据权利要求1所述的方法，其中，所述第一模型包括若干层神经网络，所述方法还包括：在利用所述第一模型处理所述第一批次本地特征时，存储其中各层神经网络层的输2CN115688882A权利要求书2/3页入；其中，所述第二更新包括：基于所述回传梯度和所述各层神经网络层的输入，确定所述各层神经网络层的参数梯度，并根据所述参数梯度更新所述各层神经网络中的模型参数。10.一种多方联合进行模型训练的方法，所述多方中的多个数据方各自拥有带标签的不同训练样本，所述多方中还包括中立方；所述方法应用于其中任意一个数据方，包括：利用本地部署的第一模型处理第一批次的本地训练样本，得到第一输出，并将所述第一输出发送给所