保护数据隐私的两方联合训练预测模型的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115544576A(43)申请公布日2022.12.30(21)申请号202211346052.5(22)申请日2022.10.31(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑龙飞王力(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06F21/62(2013.01)G06N3/08(2006.01)权利要求书3页说明书11页附图4页(54)发明名称保护数据隐私的两方联合训练预测模型的方法及装置(57)摘要本说明书实施例提供一种保护数据隐私的两方联合训练预测模型的方法及装置，两方各自持有多个用户的不同特征部分，部署针对不同特征部分的表征层，其中标签方还部署预测层。该方法包括：两方各自在本地处理同一批用户样本的特征部分，得到对应的正序表征，且无标签方还生成乱序方阵；然后，标签方基于其正序表征与无标签方中的正序表征和变换方阵进行安全多方计算，得到乱序融合表征，从而基于利用预测层处理乱序融合表征而得到的乱序预测结果，和基于正序用户标签与无标签方中的乱序方阵进行安全矩阵乘法而得到的乱序预测标签，确定传播至两个表征层的乱序梯度，接着无标签方基于乱序矩阵和乱序梯度确定正序梯度，用于两方各自更新本地表征层。CN115544576ACN115544576A权利要求书1/3页1.一种保护数据隐私的两方联合训练预测模型的方法，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第一方，包括：利用所述第一表征层处理n个样本用户的第一特征部分，得到第一正序表征；基于所述第一正序表征，与所述第二方持有的第二正序表征和n阶的乱序方阵进行安全多方计算，确定针对两个正序表征的乱序融合表征；所述第二正序表征是利用所述第二表征层处理所述n个样本用户的第二特征部分而得到；基于乱序预测结果和乱序用户标签，确定传播至两个表征层的乱序梯度；所述乱序预测结果是利用所述预测层处理所述乱序融合表征而得到；所述乱序用户标签是基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；从所述第二方接收目标梯度，其基于所述乱序梯度和乱序方阵而确定。2.根据权利要求1所述的方法，其中，所述乱序融合表征的确定包括：基于所述第一正序表征，与所述第二方持有的所述乱序方阵进行安全矩阵乘法，得到第一乱序表征的第一分片，所述第一乱序表征对应所述第一正序表征与所述乱序方阵之间的乘积；从所述第二方接收中间值，其基于所述第一乱序表征的第二分片和第二乱序表征而确定，所述第二乱序表征是利用所述乱序方阵对所述第二正序表征进行乘积处理而得到；基于所述第一分片和中间值，确定所述乱序融合表征。3.根据权利要求1所述的方法，其中，所述乱序用户标签的确定包括：基于所述正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法，得到所述针对所述乱序用户标签的第一标签分片；从所述第二方接收针对所述乱序用户标签的第二标签分片；基于所述第一标签分片和第二标签分片，构建所述乱序用户标签。4.根据权利要求3所述的方法，其中，在从所述第二方接收目标梯度之后，还包括：利用所述目标梯度更新所述第一表征层中的模型参数。5.根据权利要求1所述的方法，其中，还包括：基于所述乱序预测结果和乱序用户标签，确定传播至所述预测层的训练梯度；利用所述训练梯度更新所述预测层中的模型参数。6.一种保护数据隐私的两方联合训练预测模型的方法，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第二方，包括：利用所述第二表征层处理n个样本用户的第二特征部分，得到第二正序表征；基于所述第二正序表征和n阶的乱序方阵，与所述第一方持有的第一正序表征进行安全多方计算，以使所述第一方得到针对两个正序表征的乱序融合表征；从所述第一方接收传播至两个表征层的乱序梯度，所述乱序梯度基于乱序预测结果和乱序用户标签而确定，所述乱序预测结果是所述第一方利用所述预测层处理所述乱序融合表征而得到，所述乱序用户标签是所述第一方基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；基于所述乱序梯度和乱序方阵确定目标梯度，并发送至所述第一方。2CN115544576A权利要求书2/3页7.根据权利要求6所述的方法，其中，所述乱序方阵的确定包括：所述第二方对n阶单位矩阵进行列向或行向的随机乱序处理，得到所述乱序方阵。8.根据权利要求6所述的方法，其中，基于所述第二正序表征和n阶的乱序方阵，与所述第一方持有的第一正序表征进行安全多方计算，以使所述第一方得到针对