联邦学习模型的训练方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113947211A(43)申请公布日2022.01.18(21)申请号202111183940.5(22)申请日2021.10.11(71)申请人京东科技控股股份有限公司地址100176北京市北京经济技术开发区科创十一街18号C座2层221室(72)发明人杨恺王虎黄志翔彭南博(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人罗岚(51)Int.Cl.G06N20/00(2019.01)H04L9/00(2022.01)H04L9/40(2022.01)权利要求书5页说明书22页附图8页(54)发明名称联邦学习模型的训练方法、装置、电子设备和存储介质(57)摘要本申请提出一种联邦学习模型的训练方法、装置、电子设备和存储介质，其中，训练方法包括：与数据提供方服务器进行样本对齐；根据业务方服务器和数据提供方服务器的特征数量分别对业务方服务器和数据提供方服务器的特征进行编号，以生成特征编码集，以及将数据提供方服务器的特征编号和公钥发送至数据提供方服务器；获取联邦学习模型的当前样本集和训练参数集；根据当前样本集、训练参数集和特征编码集，对联邦学习模型进行M次迭代训练；以及获取第M次迭代训练得到的联邦学习模型的目标参数。由此，能够在保证建模效果的同时减少建模的复杂度，从而使业务方服务器与数据提供方服务器之间的联合训练更加高效，进而提高了建模效率。CN113947211ACN113947211A权利要求书1/5页1.一种联邦学习模型的训练方法，其特征在于，包括：与数据提供方服务器进行样本对齐；分别获取业务方服务器和所述数据提供方服务器的特征数量，并根据所述特征数量分别对所述业务方服务器和所述数据提供方服务器的特征进行编号，以生成特征编码集，以及将所述数据提供方服务器的特征编号和公钥发送至所述数据提供方服务器；获取联邦学习模型的当前样本集和训练参数集；根据所述当前样本集、所述训练参数集和所述特征编码集，对所述联邦学习模型进行M次迭代训练，其中，所述M为大于1的正整数；以及获取第M次所述迭代训练得到的所述联邦学习模型的目标参数。2.如权利要求1所述的联邦学习模型的训练方法，其特征在于，其中，所述训练参数集包括特征采样率、训练样本上限值、训练样本下限值、决策树棵数上限值、决策树棵数下限值、第一参数变化速度和第二参数变化速度。3.如权利要求2所述的联邦学习模型的训练方法，其特征在于，其中，所述每次迭代训练，包括：将所述M次迭代训练中当前的迭代训练作为第N次迭代训练，其中，所述N为小于所述M的正整数；根据所述M、所述N、所述训练样本上限值、所述训练样本下限值和所述第一参数变化速度，生成样本采样率；根据所述M、所述N、所述决策树棵数上限值、所述决策树棵数下限值和所述第二参数变化速度，生成目标棵数；从所述当前样本集中选取所述样本采样率的样本以生成目标训练集；从所述特征编码集中选取所述特征采样率的特征编码以生成目标特征编码集；将所述目标训练集中每个样本的编号，以及所述目标特征编码集中所述数据提供方服务器的目标特征编号发送至所述数据提供方服务器；根据所述目标训练集、所述目标特征编码集和所述目标棵数，生成所述联邦学习模型的目标参数；基于梯度提升算法，并根据所述目标参数和所述联邦学习模型，生成所述当前样本的优化标签，其中，所述优化标签为下一轮迭代训练的所述当前样本的训练标签。4.如权利要求3所述的联邦学习模型的训练方法，其特征在于，所述根据所述目标训练集、所述目标特征编码集和所述目标棵数，生成所述联邦学习模型的目标参数，包括：计算所述目标训练集中样本的梯度信息，并将所述梯度信息发送至所述数据提供方服务器；接收所述数据提供方服务器提供的梯度返回信息；根据所述梯度返回信息和所述目标特征编码集生成目标分裂点编号，并基于私钥和所述目标分裂点编号生成密文，以及将所述密文发送至所述数据提供方服务器；接收所述数据提供方服务器发送的解密运算值，并根据所述解密运算值进行节点分裂；重复以上步骤直至模型收敛，以建立所述目标棵数的决策树，完成所述联邦学习模型的训练，并通过所述完成训练的联邦学习模型获取所述目标参数。2CN113947211A权利要求书2/5页5.如权利要求4所述的联邦学习模型的训练方法，其特征在于，所述计算所述目标训练集中样本的梯度信息，包括：生成所述目标训练集中样本的一阶梯度值和二阶梯度值；对所述一阶梯度值和所述二阶梯度值进行同态加密以生成所述梯度信息。6.如权利要求4所述的联邦学习模型的训练方法，其特征在于，所述梯度返回信息为多个，且每个所述梯度返回信息对应有相应的编号，其中，所述根据所述梯度返回信息和所述目标特征编码集生成目标分裂点编号，包括：根据所述多个梯度