保护数据隐私的业务预测模型训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113379042A(43)申请公布日2021.09.10(21)申请号202110835599.0(22)申请日2021.07.23(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人郑龙飞陈超超王力张本宇(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06Q10/04(2012.01)G06F21/62(2013.01)权利要求书3页说明书18页附图4页(54)发明名称保护数据隐私的业务预测模型训练方法及装置(57)摘要本说明书实施例提供了一种保护数据隐私的业务预测模型训练方法及装置。在训练过程中，成员设备利用自身持有的对象特征数据，通过业务预测模型进行预测，利用预测结果确定用于更新模型参数的更新参量，其中包括针对业务预测模型的多个计算层的多个子参量；利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，第一类计算层的子参量值在指定范围以内；对第一类计算层的子参量进行隐私处理，并输出处理后子参量。多个成员设备的处理后子参量可以被聚合成聚合子参量。成员设备可以获取第一类计算层的聚合子参量，并利用聚合子参量和第二类计算层的子参量，对模型参数进行更新。CN113379042ACN113379042A权利要求书1/3页1.一种保护数据隐私的业务预测模型训练方法，通过多个成员设备联合训练，所述业务预测模型包括多个计算层，所述方法通过任意一个成员设备执行，包括：利用所述成员设备持有的多个对象的对象特征数据，通过业务预测模型进行预测，利用对象的预测结果确定与对象特征数据关联的更新参量，所述更新参量用于更新模型参数，并包括针对多个计算层的多个子参量；利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，所述第一类计算层的子参量值在指定范围以内，所述第二类计算层的子参量值在所述指定范围之外；对所述第一类计算层的子参量进行隐私处理，并输出处理后子参量；获取所述第一类计算层的聚合子参量，所述聚合子参量是基于两个以上成员设备的处理后子参量进行聚合而得到，并与两个以上成员设备的对象特征数据相关联；利用所述聚合子参量和所述第二类计算层的子参量，对模型参数进行更新。2.根据权利要求1所述的方法，所述更新参量采用模型参数梯度或者模型参数差值实现；其中，所述模型参数梯度基于本次训练中得到的预测损失确定；所述模型参数差值采用以下方式确定：获取本次训练的初始模型参数以及本次训练中得到的模型参数梯度；利用所述模型参数梯度对所述初始模型参数进行更新，得到模拟更新参数；基于所述初始模型参数与所述模拟更新参数的差值，确定模型参数差值。3.根据权利要求1所述的方法，所述将多个计算层划分成第一类计算层和第二类计算层的步骤，包括：利用子参量包含的向量元素，确定多个子参量分别对应的子参量表征值，所述子参量表征值用于表征对应的子参量的数值大小；利用多个子参量表征值，将多个计算层划分成第一类计算层和第二类计算层。4.根据权利要求3所述的方法，所述子参量表征值采用以下中的一种实现：范数值、均值、方差值、标准差值、最大值、最小值或者最大值与最小值的差值。5.根据权利要求3所述的方法，所述第一类计算层的所述子参量表征值大于所述第二类计算层的所述子参量表征值。6.根据权利要求1所述的方法，所述指定范围包括：多个子参量值的数量级在预设量级范围内。7.根据权利要求1所述的方法，所述对所述第一类计算层的子参量进行隐私处理的步骤，包括：基于(ε,δ)‑差分隐私算法，确定针对所述第一类计算层的子参量的噪声数据；将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加，得到对应的处理后子参量。8.根据权利要求7所述的方法，所述确定针对所述第一类计算层的子参量的噪声数据的步骤，包括：利用差分隐私参数ε和δ，计算高斯噪声的噪声方差值；基于所述噪声方差值，针对所述第一类计算层的子参量包含的向量元素生成对应的噪声数据。9.根据权利要求7所述的方法，在将所述噪声数据分别与所述第一类计算层的对应子2CN113379042A权利要求书2/3页参量进行叠加之前，还包括：利用所述第一类计算层对应的若干个子参量，确定用于标识所述第一类计算层的子参量的总体表征值；利用所述总体表征值和预设的裁剪参数，对所述第一类计算层的子参量进行数值裁剪，得到对应的裁剪后子参量；所述将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加的步骤，包括：将所述噪声数据分别与所述第一类计算层的对应裁剪后子参量进行叠加。10.根据权利要求9所述的方法，所