保护数据隐私的双方联合训练业务预测模型的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111160573A(43)申请公布日2020.05.15(21)申请号202010251506.5(22)申请日2020.04.01(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人陈超超王力王磊周俊(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N20/00(2019.01)G06N3/08(2006.01)权利要求书5页说明书17页附图4页(54)发明名称保护数据隐私的双方联合训练业务预测模型的方法和装置(57)摘要本说明书实施例提供一种保护数据隐私的双方联合训练业务预测模型的方法和装置，其中双方各自拥有一部分特征数据。在模型迭代过程中，双方通过安全矩阵乘法，得到总的特征矩阵X与总的参数矩阵W的乘积结果的加密分片。由拥有标签的第二方汇总这两个加密分片，得到加密的乘积结果Z。第二方基于该乘积结果Z与加密的标签Y，得到加密的误差E，并对其进行同态加密下的秘密分享。于是，双方各自得到误差分片。然后双方基于误差分片和各自的特征矩阵，通过秘密分享和安全矩阵乘法，得到对应的梯度分片。然后，第一方利用其梯度分片更新其维护的参数分片，第二方利用其梯度分片更新其维护的参数分片。如此实现保护数据隐私的安全联合训练。CN111160573ACN111160573A权利要求书1/5页1.一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有多个业务对象的第一特征部分构成的第一特征矩阵XA；所述第二方存储有所述多个业务对象的第二特征部分构成的第二特征矩阵XB，以及标签值构成的标签向量Y；所述方法应用于所述第二方，该方法包括，多次迭代执行模型参数更新，其中每次迭代包括：基于本地维护的第一参数第二分片和第二参数第二分片，通过本地矩阵乘法以及与所述第一方的安全矩阵乘法运算，计算得到同态加密的第二加密乘积分片，并从所述第一方接收第一加密乘积分片；其中，第一参数第二分片是用于处理所述第一特征部分的第一参数部分WA的第二分片；第二参数第二分片是用于处理所述第二特征部分的第二参数部分WB的第二分片；对所述第一加密乘积分片和第二加密乘积分片进行同态加和，得到加密乘积结果Z，其对应于，第一特征矩阵XA与第一参数部分WA相乘的第一乘积，和第二特征矩阵XB与第二参数部分WB相乘的第二乘积之和的加密值；基于所述加密乘积结果Z和所述标签向量Y的加密值进行同态运算，得到加密误差向量E，对该加密误差向量E进行秘密分享，得到第二误差分片；对该加密误差向量E和第二特征矩阵XB进行同态操作下的矩阵相乘，得到第二加密梯度，对该第二加密梯度进行秘密分享，得到第二梯度第二分片；用所述第二误差分片，与所述第一方中的第一特征矩阵XA进行安全矩阵乘法，得到第一梯度第二部分的第二分片；根据所述第二梯度第二分片，更新所述第二参数第二分片；根据所述第一梯度第二部分的第二分片，更新所述第一参数第二分片。2.根据权利要求1所述的方法，在多次迭代执行模型参数更新之前，还包括：初始化所述第二参数部分WB，通过秘密分享将其拆分为第二参数第一分片和第二参数第二分片，保留所述第二参数第二分片，将所述第二参数第一分片发送给第一方；从第一方接收对所述第一参数部分WA秘密分享的第一参数第二分片。3.根据权利要求1所述的方法，在多次迭代执行模型参数更新之后，还包括：将最后一次迭代中更新后的所述第一参数第二分片发送给所述第一方，并从所述第一方接收更新后的第二参数第一分片；将最后一次迭代中更新后的第二参数第二分片，和所接收的第二参数第一分片进行组合，得到所述业务预测模型训练后的第二参数部分WB。4.根据权利要求1所述的方法，其中，所述业务对象包括以下之一：用户，商户，商品，事件；所述业务预测模型用于预测所述业务对象的分类或回归值。5.根据权利要求1所述的方法，其中，所述业务预测模型为线性回归模型；所述基于所述加密乘积结果Z和所述标签向量Y的加密值进行同态运算，得到加密误差向量E，包括：计算所述加密乘积结果Z和所述标签向量Y的同态差值，作为所述加密误差向量E。6.根据权利要求1所述的方法，其中，所述业务预测模型为逻辑回归模型；所述基于所述加密乘积结果Z和所述标签向量Y的加密值进行同态运算，得到加密误差向量E，包括：2CN111160573A权利要求书2/5页根据sigmoid函数的泰勒展开形式，基于所述加密乘积结果Z得到加密预测结果，对加密预测结果和所述标签向量Y的加密值进行同态差值运算，得到所述加密误差向量E。7.根据权利要求6所述的方法，其中，在得到加密误差向量E之前，