保护数据隐私的双方联合训练业务预测模型的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111177791A(43)申请公布日2020.05.19(21)申请号202010276682.4(22)申请日2020.04.10(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人王磊陈超超王力周俊(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06F21/62(2013.01)G06F21/60(2013.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书14页附图3页(54)发明名称保护数据隐私的双方联合训练业务预测模型的方法和装置(57)摘要本说明书实施例提供一种保护数据隐私的双方联合训练业务预测模型的方法和装置，其中第一方和第二方分别拥有一部分特征数据，分别维护第一和第二参数部分，借助于第三方进行联合训练。在模型迭代时，双方各自计算其特征矩阵与参数的乘积结果，第一方将其乘积结果用第三方公钥同态加密后发送给拥有标签的第二方，由第二方进行同态运算，得到加密误差向量。然后，基于该加密误差向量，双方各自通过同态添加混淆元素的方式，将混淆后的加密梯度发送给第三方，使其解密，再对解密后的混淆梯度去混淆，得到对应的梯度，由此更新对应的参数。如此实现保护数据隐私的安全联合训练。CN111177791ACN111177791A权利要求书1/4页1.一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有多个业务对象的第一特征部分构成的第一特征矩阵XA，并维护对应的第一参数部分WA；所述第二方存储有所述多个业务对象的第二特征部分构成的第二特征矩阵XB，和标签值构成的标签向量Y，并维护对应的第二参数部分WB；所述方法应用于所述第二方，包括：本地计算第二特征矩阵XB与第二参数部分WB的第二乘积结果；从所述第一方接收第一加密乘积，该第一加密乘积为，使用中立的第三方的公钥和同态加密算法，对第一特征矩阵XA与第一参数部分WA的第一乘积结果加密得到的；基于对所述第一加密乘积，第二乘积结果，以及所述标签向量进行同态运算，得到加密误差向量E；对该加密误差向量E和第二特征矩阵XB进行同态操作下的矩阵相乘，得到对第二梯度加密的第二加密梯度；在所述第二加密梯度基础上同态添加第二混淆元素，生成第二加密混淆梯度，并将其发送给所述第三方；从所述第三方接收针对第二加密混淆梯度解密的第二混淆梯度；根据所述第二混淆梯度和第二混淆元素，恢复得到第二梯度；根据所述第二梯度，更新所述第二参数部分。2.根据权利要求1所述的方法，其中，所述业务对象包括以下之一：用户，商户，商品，事件；所述业务预测模型用于预测所述业务对象的分类或回归值。3.根据权利要求1所述的方法，其中，所述业务预测模型为线性回归模型；所述得到加密误差向量E，包括：基于所述第一加密乘积和所述第二乘积结果的同态加和操作，得到加密预测结果；计算该加密预测结果和所述标签向量Y的加密值的同态差值，作为所述加密误差向量E。4.根据权利要求1所述的方法，其中，所述业务预测模型为逻辑回归模型；所述得到加密误差向量E，包括：根据sigmoid函数的泰勒展开形式，基于所述第一加密乘积和所述第二乘积结果的同态运算得到加密预测结果，对该加密预测结果和所述标签向量Y的加密值进行同态差值运算，得到所述加密误差向量E。5.根据权利要求4所述的方法，其中，所述第二乘积结果包括，第二特征矩阵XB与第二参数部分WB的多阶第二乘积；所述第一乘积结果包括，第一特征矩阵XA与第一参数部分WA的多阶第一乘积；根据sigmoid函数的泰勒展开形式，基于所述第一加密乘积和所述第二乘积结果的同态运算得到加密预测结果，包括：根据sigmoid函数的多阶泰勒展开形式，基于所述多阶第一乘积和所述多阶第二乘积之间的同态加和操作和同态相乘操作，得到加密预测结果。6.根据权利要求1所述的方法，其中，在所述第二加密梯度基础上同态添加第二混淆元素，生成第二加密混淆梯度，包括：随机生成与所述第二加密梯度维度相同的第二掩码向量，并使用所述第三方的公钥和所述同态加密算法将其加密，得到第二加密掩码向量；2CN111177791A权利要求书2/4页在所述第二加密梯度上同态添加所述第二加密掩码向量，得到所述第二加密混淆梯度；所述根据所述第二混淆梯度和所述第二混淆元素，恢复得到第二梯度，包括：从所述第二混淆梯度中减去所述第二掩码向量，得到第二梯度。7.根据权利要求1所述的方法，还包括：将所述加密误差向量E发给给所述第一方。8.一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第