业务模型的联合训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111737755A(43)申请公布日2020.10.02(21)申请号202010759819.1(22)申请日2020.07.31(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人周亚顺李漓春张祺智(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06F21/62(2013.01)G06F7/58(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书5页说明书17页附图5页(54)发明名称业务模型的联合训练方法及装置(57)摘要本说明书实施例提供一种业务模型的联合训练方法及装置，在多方安全计算中，将非线性的复杂运算分配给第三方处理，大大降低多个业务方联合训练非线性模型的复杂度。同时，持有训练样本的特征数据或标签数据的各个业务方通过约定的随机数生成方式，生成预定数量的随机数，从而获取按顺序一一对应的训练样本的样本数据，保持数据的一致性，并且由于第三方不参与随机数的生成过程，从而各个其他业务方有效针对第三方保证了数据隐私。而各个其他业务方之间通过秘密共享方法进行交互，相互之间保证了数据隐私。总之，以上方法在隐私保护的基础上，大大降低多个业务方联合训练非线性模型的运算复杂度。CN111737755ACN111737755A权利要求书1/5页1.一种业务模型的联合训练方法，用于多个业务方联合训练业务模型，所述业务模型用于对业务数据进行处理，得到相应的业务处理结果，所述多个业务方包括第一方、第二方和第三方，针对用于训练所述业务模型的多个训练样本，所述第一方持有包含部分或全部业务特征的特征数据，以及当前模型参数的第一份额，所述第二方至少持有各个业务标签，以及当前模型参数的第二份额；所述方法由第一方执行，包括：按照与所述第二方协商一致的随机数生成方式和当前随机数种子，生成预定数量的随机数，从而获取与各个随机数分别对应的各个训练样本的第一特征数据；通过秘密共享的方式与所述第二方进行交互，从而融合当前模型参数和所述第一特征数据，得到融合结果的第一份额；向所述第三方发送所述融合结果的第一份额，以供所述第三方根据所述融合结果的第一份额，以及从所述第二方获取的所述融合结果的第二份额，确定基于激励函数处理所述融合结果的激励结果；从所述第三方获取所述激励结果的第一份额；基于所述激励结果的第一份额，与所述第二方以秘密共享方式更新当前模型参数，从而得到更新后的当前模型参数的第一份额。2.根据权利要求1所述的方法，在所述第一方持有包含部分业务特征的特征数据的情况下，所述多个业务方还包括第四方，所述第四方还持有通过所述随机数生成方式和所述当前随机数种子获取的第四特征数据；所述通过秘密共享的方式与所述第二方进行交互，从而融合当前模型参数和第一特征数据，得到融合结果的第一份额包括：通过秘密共享的方式与所述第二方、所述第四方进行交互，从而融合模型参数和包括所述第一特征数据、所述第四特征数据的样本特征数据，得到融合结果的第一份额。3.根据权利要求1所述的方法，其中，所述第二方还持有通过所述随机数生成方式和所述当前随机数种子获取的第二特征数据；所述通过秘密共享的方式与所述第二方进行交互，从而融合当前模型参数和第一特征数据，得到融合结果的第一份额包括：通过秘密共享的方式与所述第二方进行交互，从而融合当前模型参数和所述第一特征数据、所述第二特征数据，得到融合结果的第一份额。4.根据权利要求1所述的方法，其中，所述随机数生成方式中，生成的第一个随机数依赖于所述当前随机数种子，后续生成的单个随机数依赖于其前一个随机数的值。5.根据权利要求1所述的方法，其中，所述基于所述激励结果的第一份额，与所述第二方以秘密共享方式更新当前模型参数，从而得到更新后的当前模型参数的第一份额包括：根据所述激励结果的第一份额，与所述第二方以秘密共享的方式确定当前模型参数的梯度，得到所述梯度的第一份额；按照预定的学习率，基于所述梯度的第一份额调整当前模型参数的第一份额。6.根据权利要求5所述的方法，其中，所述根据所述激励结果的第一份额，确定所述梯度的第一份额包括：利用所述激励结果的第一份额，确定所述激励结果与第一标签数据的差的第一份额，所述第一标签数据由所述第二方根据所述随机数生成方式和所述当前随机数种子得到；2CN111737755A权利要求书2/5页根据所述激励结果与所述第一标签数据的差的第一份额以及所述第一特征数据的第一份额，与所述第二方持有的所述激励结果与第一标签数据的差的第二份额以及所述第一特征数据的第二份额，以秘密共享的方式确定所述梯度的第