业务模型的多方联合训练方法、装置、系统及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111461215A(43)申请公布日2020.07.28(21)申请号202010244168.2(22)申请日2020.03.31(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人蒋晨之(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人郭思晨(51)Int.Cl.G06K9/62(2006.01)G06F21/62(2013.01)权利要求书6页说明书18页附图7页(54)发明名称业务模型的多方联合训练方法、装置、系统及设备(57)摘要本说明书提供一种业务模型的多方联合训练方法、装置、系统及设备，包括：在多方联合训练业务模型的过程中，数据持有方将本次迭代的梯度进行截断后发送给协作方，协作方基于各数据持有方发送的截断梯度，计算第一目标梯度，并在第一目标梯度中添加噪声得到第二目标梯度，以由各数据持有方基于该第二目标梯度、上次迭代的模型参数，确定本次迭代的模型参数。通过数据持有方对计算出的梯度进行截断，以及协作方汇总得到的第一目标梯度添加噪声，实现了在模型训练过程中，通过差分隐私的方式来防止个人数据泄露。CN111461215ACN111461215A权利要求书1/6页1.一种业务模型的多方联合训练方法，所述多方包括：多个数据持有方和协作方，所述多个数据持有方各配置了所述业务模型；每个数据持有方持有的样本不完全相同、且每个数据持有方持有的样本的特征维度相同，所述方法应用于任一数据持有方，所述方法包括：循环进行以下业务模型的模型参数的迭代，直至满足迭代停止条件：从本地持有的样本中选择目标样本；基于所述目标样本、所述业务模型上次迭代的模型参数以及预设的梯度算法，确定所述业务模型本次迭代的梯度；对所述梯度进行截断生成截断梯度，并向所述协作方发送所述截断梯度，以由所述协作方基于各数据持有方发送的截断梯度，确定第一目标梯度，并在所述第一目标梯度中增加预设类型的噪声生成第二目标梯度；接收所述协作方发送的第二目标梯度，基于该第二目标梯度和所述业务模型上次迭代的模型参数，确定所述业务模型本次迭代的模型参数。2.根据权利要求1所述的方法，所述对所述梯度进行截断生成截断梯度，包括：依据预设的范数类型，确定所述梯度的范数；依据预设的梯度截断的边界值、以及确定出的所述范数，确定截断梯度。3.根据权利要求1所述的方法，所述从本地持有的样本中选择目标样本，包括：从本地持有的样本中，随机选择至少一个样本，作为目标样本。4.根据权利要求1所述的方法，所述方法还包括：在接收到协作方分别在第一目标梯度中添加与各预设的噪声因子对应的噪声得到的噪声梯度集时，基于所述噪声梯度集、上次迭代的模型参数、以及本地的目标样本及其标签，计算与噪声梯度集中的各噪声梯度对应的损失函数值；将各噪声梯度对应的损失函数值发送给协作方；所述第二目标梯度是由所述协作方基于各噪声梯度对应的损失函数值确定各噪声梯度的选中概率，并基于各噪声梯度的选中概率确定出的。5.根据权利要求4所述的方法，所述基于所述噪声梯度集、本次迭代的模型参数、以及本地的目标样本及其标签，计算与噪声梯度集中的各噪声梯度对应的损失函数值，包括：针对噪声梯度集中的每一噪声梯度，基于上次迭代的模型参数和该噪声梯度，确定临时模型参数；将所述临时模型参数、本地的目标样本及其标签代入至所述业务模型的损失函数中，得到该噪声梯度对应的损失函数值。6.根据权利要求1所述的方法，所述迭代停止条件为：业务模型收敛；或者，迭代次数超过预设的迭代次数阈值。7.根据权利要求2所述的方法，所述预设的范数类型为L2范数。8.根据权利要求1所述的方法，所述预设的梯度算法为梯度下降法。9.根据权利要求1所述的方法，所述样本对象为用户，所述样本为用户数据。10.一种业务模型的多方联合训练方法，所述多方包括：多个数据持有方和协作方，所述多个数据持有方各配置了所述业务模型；每个数据持有方持有的样本不完全相同、且每个数据持有方持有的样本的特征维度相同，所述方法应用在所述协作方，所述方法包括：2CN111461215A权利要求书2/6页基于各数据持有方发送的截断梯度，确定第一目标梯度；所述截断梯度是由各数据持有方基于从该数据持有方持有的样本中选择出的目标样本、所述业务模型上次迭代的模型参数以及预设的梯度算法计算得到；在所述第一目标梯度中增加预设类型的噪声，生成第二目标梯度；将所述第二目标梯度发送给各数据持有方，以使得各数据持有方基于该第二目标梯度和所述业务模型上次迭代的模型参数，确定所述业务模型本次迭代的模型参数。11.根据权利要求10所述的方法，所述方法还包括：获取各数据持有方选择出的目标样本的个数；