基于隐私保护的联合训练业务模型的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114936650A(43)申请公布日2022.08.23(21)申请号202210742526.1G06K9/62(2022.01)(22)申请日2020.12.06G06F21/60(2013.01)G06F21/62(2013.01)(62)分案原申请数据202011409592.42020.12.06(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人熊涛冯岩(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06N20/00(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书15页附图4页(54)发明名称基于隐私保护的联合训练业务模型的方法及装置(57)摘要本说明书实施例提供一种基于隐私保护的联合训练业务模型的方法和装置，根据该方法，服务器针对实现业务模型的神经网络中的各个网络层，确定扰动矩阵，并用其对网络层的参数进行扰动加密，得到扰动加密模型，分发给各个终端。终端利用扰动加密的模型处理其本地训练样本，得到扰动梯度。并且，终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布，使得经扰动矩阵进行恢复后得到的噪声符合高斯分布，从而满足差分隐私的要求。于是，服务器可以对各个终端发送的含躁梯度进行扰动恢复并聚合，从而更新神经网络模型中的参数。CN114936650ACN114936650A权利要求书1/2页1.一种基于隐私保护的联合训练业务模型的方法，包括：服务器采用扰动加密算法将所述业务模型的模型参数进行扰动加密后，分发给多个终端；各个终端利用扰动加密的模型处理其本地训练样本，得到扰动梯度；所述各个终端在所述扰动梯度上叠加噪声，使得经扰动解密后噪声符合高斯分布；服务器根据扰动解密后的梯度更新所述业务模型。2.一种基于隐私保护的联合训练业务模型的方法，通过服务器执行，包括：采用扰动加密算法将所述业务模型的模型参数进行扰动加密后，分发给多个终端；从各个终端接收叠加噪声后的扰动梯度，所述扰动梯度是对应终端利用扰动加密的模型处理其本地训练样本而得到，叠加噪声后的扰动梯度使得经扰动解密后噪声符合高斯分布；根据扰动解密后的梯度更新所述业务模型。3.根据权利要求2所述的方法，其中，所述业务模型通过神经网络实现，采用扰动加密算法将所述业务模型的模型参数进行扰动加密，包括：针对所述神经网络中的各网络层l，确定对应的随机扰动矩阵；将该网络层l的原始参数矩阵与对应的随机扰动矩阵进行对应位置元素的相乘，基于相乘结果得到该网络层的扰动加密参数矩阵。4.根据权利要求3所述的方法，其中，所述网络层l为神经网络的中间层；针对所述神经网络中的各网络层l，确定对应的随机扰动矩阵，包括：将该中间层对应的随机向量中的各个向量元素，和前一网络层对应的随机向量中的各个向量元素的倒数，分别进行组合，将组合结果作为网络层l对应的随机扰动矩阵中的各个矩阵元素。5.一种基于隐私保护的联合训练业务模型的方法，通过多个终端中的第一终端执行，包括：从服务器接收其采用扰动加密算法将所述业务模型的模型参数进行扰动加密后的模型；利用扰动加密的模型处理本地训练样本，得到扰动梯度；在所述扰动梯度上叠加噪声，使得经扰动解密后噪声符合高斯分布；将叠加噪声的扰动梯度发送给服务器，使其根据扰动解密后的梯度更新所述业务模型。6.根据权利要求5所述的方法，其中，所述业务模型通过神经网络实现，在所述扰动梯度上叠加噪声，包括：确定各网络层对应的噪声矩阵；将所述噪声矩阵，乘以预设的噪声幅度和方差，作为各网络层对应的噪声，叠加到所述扰动梯度上。7.根据权利要求5所述的方法，其中，所述业务模型用于针对用户进行预测，所述本地训练样本包括，样本特征和用户分类标签；所述样本特征包括以下中的至少一项：注册时长、注册信息、最近一段时间的使用频次、发表评论的频次。8.根据权利要求5所述的方法，其中，所述业务模型用于针对交易进行预测，所述本地2CN114936650A权利要求书2/2页训练样本包括，样本特征和交易类别标签；所述样本特征包括以下中的至少一项：交易金额、交易时间、支付渠道、交易双方属性信息。9.一种基于隐私保护的联合训练业务模型的系统，包括服务器和多个终端，其中：所述服务器用于，采用扰动加密算法将所述业务模型的模型参数进行扰动加密后，分发给多个终端；各个终端用于，利用扰动加密的模型处理其本地训练样本，得到扰动梯度；并在所述扰动梯度上叠加噪声，使得经扰动解密后噪声符合高斯分布；所述服务器还用于，根据扰动解密后的梯度更新所述业务模型。3CN114936650A说明书1/1