基于联邦学习的模型训练方法、装置、设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113762328A(43)申请公布日2021.12.07(21)申请号202110666784.1(22)申请日2021.06.16(71)申请人京东科技控股股份有限公司地址100176北京市大兴区经济技术开发区科创十一街18号C座2层221室(72)发明人陈晓霖杨恺王虎黄志翔彭南博(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06K9/62(2006.01)G06N20/00(2019.01)权利要求书3页说明书12页附图5页(54)发明名称基于联邦学习的模型训练方法、装置、设备以及存储介质(57)摘要本申请公开了基于联邦学习的模型训练方法和装置，具体实现方案为：当未达到梯度提升树的棵树阈值并且未达到梯度提升树的深度阈值，向联邦学习系统中的各个第二电子设备发送梯度数据；接收各个第二电子设备基于梯度数据发送的表征第二特征信息集中每个特征和相应特征的分裂阈值的随机数编码和第一融合梯度；基于各个第一融合梯度和第一特征信息集，确定信息增益的目标值；响应于信息增益的目标值为本方信息增益的最大值，基于信息增益的目标值对应特征和分裂阈值对样本空间进行划分，生成样本空间划分结果和目标融合梯度；根据目标融合梯度，对第一电子设备的模型参数进行更新。该方案实现了一种具有可解释性的基于联邦学习的模型训练方法。CN113762328ACN113762328A权利要求书1/3页1.一种基于联邦学习的模型训练方法，应用于联邦学习系统中的第一电子设备，所述第一电子设备中存储有各个用户标识和所述各个用户的第一特征信息集，所述模型基于梯度提升树算法而构建，所述方法包括：当未达到所述梯度提升树的棵树阈值并且未达到所述梯度提升树的深度阈值，向所述联邦学习系统中的各个第二电子设备发送梯度数据，其中，所述梯度数据基于所述梯度提升树的已构建棵树的预测结果而生成，所述第二电子设备中存储有与所述第一电子设备中相同用户的第二特征信息集；接收各个所述第二电子设备基于所述梯度数据发送的表征所述第二特征信息集中每个特征和相应特征的分裂阈值的随机数编码和与各个随机数编码对应的第一融合梯度；基于各个第一融合梯度和所述第一特征信息集，确定信息增益的目标值，其中，所述信息增益的目标值通过对本方信息增益的最大值和各个第二电子设备信息增益的最大值进行选取而得到，所述本方信息增益的最大值用于表征当前节点样本空间中所述第一特征信息集中每个特征在每个分裂阈值分裂后的各个信息增益中的最大值，所述第二电子设备信息增益的最大值通过对相应的第一融合梯度进行解密而得到；响应于所述信息增益的目标值为本方信息增益的最大值，基于所述信息增益的目标值对应特征和分裂阈值对样本空间进行划分，生成样本空间划分结果和所述样本空间划分结果对应的目标融合梯度；根据所述目标融合梯度，对所述第一电子设备的模型参数进行更新。2.根据权利要求1所述方法，其中，在所述基于各个第一融合梯度和所述第一特征信息集，确定信息增益的目标值之后，还包括：响应于所述信息增益的目标值为第二电子设备信息增益的最大值，向所述第二电子设备发送所述信息增益的目标值对应的所述随机数编码；接收所述第二电子设备发送的样本空间划分结果和所述样本空间划分结果对应的目标融合梯度。3.根据权利要求1所述方法，其中，所述随机数编码为表征所述第二特征信息集中每个特征和相应特征的分裂阈值的加密后的随机数编码。4.根据权利要求1所述方法，其中，所述随机数编码基于当前节点样本空间中所述第二特征信息集中每个特征标识和相应特征的分裂阈值利用打乱特征排序的方式而生成，所述随机数编码互不相同。5.根据权利要求1所述方法，还包括：向各个所述第二电子设备发送所述样本空间划分结果；和/或，当达到所述梯度提升树的深度阈值，基于所述样本空间划分结果对所述模型的预测结果进行更新。6.根据权利要求5所述方法，还包括：当达到所述梯度提升树的棵树阈值，生成训练完成后的最终模型，并将所述最终模型发送至各个所述第二电子设备；接收各个所述第二电子设备基于所述最终模型发送的与所述第二特征信息集中各个特征对应的贡献度。7.一种基于联邦学习的模型训练系统，所述系统包括：第一电子设备，其中，2CN113762328A权利要求书2/3页所述第一电子设备用于执行如权利要求1‑6任意一项的基于联邦学习的模型训练方法。8.根据权利要求7所述系统，其中，所述系统还包括：至少一个第二电子设备；所述第二电子设备，用于接收所述联邦学习系统中的第一电子设备发送的梯度数据；基于所述梯度数据，生成表征所述第二特征信息集中每个特征和相应特征的分裂阈值对应的随机数编码和与各个随机数编码对应的第一融合梯度，并将所