保护数据隐私的双方联合训练业务预测模型的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111241570A(43)申请公布日2020.06.05(21)申请号202010329627.7(22)申请日2020.04.24(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人王力陈超超周俊(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06F21/60(2013.01)H04L9/00(2006.01)H04L29/06(2006.01)G06N20/00(2019.01)权利要求书5页说明书15页附图5页(54)发明名称保护数据隐私的双方联合训练业务预测模型的方法和装置(57)摘要本说明书实施例提供一种保护数据隐私的双方联合训练业务预测模型的方法和装置，其中第一方和第二方分别拥有一部分特征数据，分别维护第一和第二参数部分。在模型迭代时，双方各自计算其特征矩阵与参数的乘积结果，第一方将其乘积结果同态加密后发送给拥有标签的第二方，由第二方进行同态运算，得到加密误差向量。然后，第二方对该加密误差向量添加混淆向量后发送给第一方，并与第一方各自采用该混淆向量和特征矩阵进行安全矩阵乘法，得到乘积分片。第二方可选的对乘积分片添加混淆，然后发给第一方。第一方由此确定出其第一梯度，据此更新其参数。CN111241570ACN111241570A权利要求书1/5页1.一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有多个业务对象的第一特征部分构成的第一特征矩阵XA，并维护对应的第一参数部分WA；所述第二方存储有所述多个业务对象的第二特征部分构成的第二特征矩阵XB，和标签值构成的标签向量Y，并维护对应的第二参数部分WB；所述方法应用于所述第二方，包括：本地计算第二特征矩阵XB与第二参数部分WB的第二乘积结果；从所述第一方接收第一加密乘积，该第一加密乘积为，使用所述第一方的第一公钥和同态加密算法，对第一特征矩阵XA与第一参数部分WA的第一乘积结果加密得到的；基于对所述第一加密乘积，第二乘积结果，以及所述标签向量进行同态运算，得到加密误差向量E；生成第二掩码向量，将其同态添加到所述加密误差向量E中，得到加密混淆误差向量，并将其发送给所述第一方；用所述第二掩码向量，与所述第一方中的第一特征矩阵XA进行安全矩阵乘法，得到矩阵乘积的两个分片中的第二乘积分片，所述两个分片中的第一乘积分片由所述第一方获得；基于所述第二乘积分片，生成第二分片向量；将所述第二分片向量发送给所述第一方，以使得所述第一方根据所述加密混淆误差向量，所述第一乘积分片以及所述第二分片向量，得到第一梯度，用于更新第一参数部分WA。2.根据权利要求1所述的方法，其中，所述业务对象包括以下之一：用户，商户，商品，事件；所述业务预测模型用于预测所述业务对象的分类或回归值。3.根据权利要求1所述的方法，其中，所述业务预测模型为线性回归模型；所述得到加密误差向量E，包括：基于所述第一加密乘积和所述第二乘积结果的同态加和操作，得到加密预测结果；计算该加密预测结果和所述标签向量Y的加密值的同态差值，作为所述加密误差向量E。4.根据权利要求1所述的方法，其中，所述业务预测模型为逻辑回归模型；所述第二乘积结果包括，第二特征矩阵XB与第二参数部分WB的若干阶第二乘积；所述第一乘积结果包括，第一特征矩阵XA与第一参数部分WA的若干阶第一乘积；所述得到加密误差向量E，包括：根据sigmoid函数的泰勒展开形式，基于所述第一加密乘积和所述第二乘积结果的同态运算得到加密预测结果，对该加密预测结果和所述标签向量Y的加密值进行同态差值运算，得到所述加密误差向量E。5.根据权利要求1所述的方法，其中，基于所述第二乘积分片，生成第二分片向量包括：生成第三掩码向量，并将其添加到所述第二乘积分片中，得到所述第二分片向量；在将所述第二分片向量发送给所述第一方之后，还包括：从所述第一方接收第一梯度二次混淆向量，所述第一梯度二次混淆向量由所述第一方根据所述加密混淆误差向量，所述第一乘积分片，所述第二分片向量，以及自身生成的第四掩码向量得到；从所述第一梯度二次混淆向量中抵消所述第三掩码向量，得到第一梯度一次混淆向量；将所述第一梯度一次混淆向量发送给所述第一方，使其根据该第一梯度一次混淆向量2CN111241570A权利要求书2/5页和所述第四掩码向量，恢复得到所述第一梯度。6.根据权利要求1所述的方法，还包括：对该加密误差向量E和第二特征矩阵XB进行同态操作下的矩阵相乘，得到对第二梯度加密的第二加密梯度；在所述第二加密梯度基础上同态添加第一掩码向量，生成第二加密混淆梯度，并将