基于同态加密的模型训练方法、装置及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111523134A(43)申请公布日2020.08.11(21)申请号202010630881.0(22)申请日2020.07.03(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人巫锡斌陈超超王力王磊(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人林锦辉刘景峰(51)Int.Cl.G06F21/60(2013.01)G06F21/62(2013.01)权利要求书6页说明书15页附图7页(54)发明名称基于同态加密的模型训练方法、装置及系统(57)摘要本说明书的实施例提供用于经由第一和第二数据拥有方协同训练逻辑回归模型的方法。第一和第二数据拥有方具有的数据按照垂直切分方式组成逻辑回归模型的训练样本，第一和第二数据拥有方具有的模型按照垂直切分方式组成逻辑回归模型。各个数据拥有方共享各自的公钥，使用各自的模型和数据确定各自的预测值，并且使用第一数据拥有方的公钥进行预测值加密。第二数据拥有方根据各个数据拥有方的加密预测值，确定逻辑回归模型的第一加密预测差值以及第一加密梯度信息。第一和第二数据拥有方利用第一加密预测差值和第一加密梯度信息，使用同态加密算法确定第一和第二数据拥有方处的梯度信息。各个数据拥有方分别使用各自的梯度信息更新各自的模型。CN111523134ACN111523134A权利要求书1/6页1.一种用于经由第一和第二数据拥有方协同训练逻辑回归模型的方法，第一数据拥有方具有第一模型、第一数据、第一公钥和第一私钥，第二数据拥有方具有第二模型、第二数据、第二公钥、第二私钥和标签值，所述第一和第二数据按照垂直切分方式共同组成所述逻辑回归模型的训练样本，所述第一和第二模型按照垂直切分方式共同组成所述逻辑回归模型，所述方法包括：在各个数据拥有方之间共享各自的公钥；在各个数据拥有方处分别使用各自的模型和数据确定各自的预测值，并且使用所述第一公钥来对所确定出的预测值进行加密；在所述第二数据拥有方处，获取所述第一数据提供方处的加密后的预测值，并根据各个数据拥有方处的加密后的预测值，确定所述逻辑回归模型的第一加密预测差值以及第一加密梯度信息；在所述第一数据拥有方和所述第二数据拥有方之间，利用所述第一加密预测差值和所述第一加密梯度信息，使用同态加密算法确定所述第一数据拥有方处的第一梯度信息和所述第二数据拥有方处的第二梯度信息；以及在所述第一数据拥有方和所述第二数据拥有方处，分别使用所述第一和第二梯度信息更新所述第一模型和所述第二模型。2.如权利要求1所述的方法，其中，在所述第一数据拥有方和所述第二数据拥有方之间，利用所述第一加密预测差值和所述第一加密梯度信息，使用同态加密算法确定所述第一数据拥有方处的第一梯度信息和所述第二数据拥有方处的第二梯度信息包括：在所述第二数据拥有方处，生成第一随机数和第二随机数，确定所述第一加密预测差值与所述第二随机数的第一和值、所述第一加密梯度信息与所述第一随机数的第二和值以及加密随机数，并将所述第一和值、所述第二和值以及所述加密随机数提供给所述第一数据拥有方，所述加密随机数通过使用所述第二公钥对所述第二随机数进行加密得到；在所述第一数据拥有方处，使用所述第一私钥来对所述第一和值和所述第二和值进行解密，并将解密后的第二和值提供给所述第二数据拥有方；在所述第一数据拥有方处，使用解密后的第一和值以及所述第一数据，确定所述第一数据拥有方处的第三梯度信息；在所述第一数据拥有方处，生成第三随机数，并且使用所述加密随机数、所述第一数据以及所述第三随机数，确定第二加密梯度信息并发送给所述第二数据拥有方；在所述第二数据拥有方处，根据解密后的第二和值和第一随机数，确定所述第二数据拥有方处的第二梯度信息，并且使用所述第二私钥对所述第二加密梯度信息进行解密，得到第四梯度信息并发送给所述第一数据拥有方；以及在所述第一数据拥有方处，使用所述第四梯度信息、所述第三随机数和所述第三梯度信息，确定所述第一数据拥有方处的第一梯度信息。3.如权利要求1所述的方法，其中，根据各个数据拥有方处的加密后的预测值，确定所述逻辑回归模型的第一加密预测差值以及第一加密梯度信息包括：计算所述第一和第二数据拥有方处的加密后的预测值的预测值和值；使用所述预测值和值以及所述标签值，根据多阶多项式公式展开来确定所述第一加密预测差值；以及2CN111523134A权利要求书2/6页使用所述第一加密预测差值和所述第二数据，确定所述第一加密梯度信息。4.如权利要求3所述的方法，其中，所述多阶多项式公式展开包括泰勒级数展开。5.如权利要求1到4中任一所述的方法，其中，所述方法循环执行，直到满足循环结束条件