基于隐私保护的联合训练业务模型的方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112541593A(43)申请公布日2021.03.23(21)申请号202011409592.4(22)申请日2020.12.06(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人熊涛冯岩(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N20/00(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)G06K9/62(2006.01)G06F21/62(2013.01)权利要求书4页说明书15页附图4页(54)发明名称基于隐私保护的联合训练业务模型的方法及装置(57)摘要本说明书实施例提供一种基于隐私保护的联合训练业务模型的方法和装置，根据该方法，服务器针对实现业务模型的神经网络中的各个网络层，确定扰动矩阵，并用其对网络层的参数进行扰动加密，得到扰动加密模型，分发给各个终端。终端利用扰动加密的模型处理其本地训练样本，得到扰动梯度。并且，终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布，使得经扰动矩阵进行恢复后得到的噪声符合高斯分布，从而满足差分隐私的要求。于是，服务器可以对各个终端发送的含躁梯度进行扰动恢复并聚合，从而更新神经网络模型中的参数。CN112541593ACN112541593A权利要求书1/4页1.一种基于隐私保护的联合训练业务模型的方法，所述业务模型通过神经网络实现，所述方法由服务器执行，包括：针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵；利用所述随机扰动矩阵对相应网络层的当前参数矩阵进行扰动处理，得到该网络层的扰动加密参数矩阵；将扰动加密模型发送给多个终端，其中所述扰动加密模型包括所述多个网络层对应的扰动加密参数矩阵；从所述多个终端中任意的第一终端接收所述多个网络层分别对应的混淆梯度项，其中所述混淆梯度项是在第一噪声梯度项上叠加第二噪声而得到，其中所述第一噪声梯度项通过利用所述扰动加密模型处理所述第一终端本地的第一样本集而得到，所述第二噪声与对应网络层的所述随机扰动矩阵的组合结果满足高斯分布；利用所述多个网络层对应的所述随机扰动矩阵，对相应网络层的混淆梯度项进行恢复处理，得到所述多个网络层的梯度恢复结果；将对应于所述多个终端的梯度恢复结果进行聚合，根据聚合结果，更新所述多个网络层的当前参数矩阵。2.根据权利要求1所述的方法，其中，针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵，包括：针对所述神经网络的各个网络层，确定对应的随机向量，所述随机向量的维度与相应网络层中神经元的数目相同；根据第一网络层的随机向量及其相邻网络层的随机向量，确定该第一网络层对应的随机扰动矩阵，其中所述第一网络层是所述神经网络中的中间层。3.根据权利要求2所述的方法，其中，所述神经网络包括N个待训练的实际网络层，以及插入在相邻的实际网络层之间的N‑1个过渡网络层，所述过渡网络层具有固定的单位矩阵作为其参数矩阵；针对所述神经网络的各个网络层，确定对应的随机向量，包括：针对实际网络层中的各个中间层，确定第一随机向量；针对各个过渡网络层，确定第二随机向量；其中，所述第一随机向量和第二随机向量中的向量元素，具有不同的数据分布。4.根据权利要求3所述的方法，其中，所述第一随机向量中的各个向量元素，符合高斯分布的三元分解数据分布；所述第二随机向量中的各个向量元素的倒数，符合高斯分布的三元分解数据分布；所述第一网络层为实际网络层中的中间层；根据第一网络层的随机向量及其相邻网络层的随机向量，确定该第一网络层对应的随机扰动矩阵，包括：将该第一网络层对应的第一随机向量中的各个向量元素，和该第一网络层的前一过渡网络层对应的第二随机向量中的各个向量元素的倒数分别进行组合，将组合结果作为该第一网络层对应的随机扰动矩阵中的各个矩阵元素。5.根据权利要求3所述的方法，其中，针对所述神经网络的各个网络层，确定对应的随机向量，还包括：针对实际网络层中的输入层，确定第三随机向量，其中各个向量元素符合高斯分布的2CN112541593A权利要求书2/4页二元分解数据分布；针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵，还包括：将该输入层对应的第三随机向量中的元素作为矩阵元素，得到该输入层对应的随机扰动矩阵。6.根据权利要求3所述的方法，其中，针对各个过渡网络层，确定第二随机向量，包括：针对最后一个过渡网络层，确定最后一个第二随机向量，其中各个向量元素的倒数，符合高斯分布的二元分解数据分布；针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵，还包括：针对实际网络层中的输出层，将所述最后一个第二随机