联邦学习模型的训练方法、装置、电子设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113722987A(43)申请公布日2021.11.30(21)申请号202110939079.4(22)申请日2021.08.16(71)申请人京东科技控股股份有限公司地址100176北京市北京经济技术开发区科创十一街18号C座2层221室(72)发明人韩雨锦杨恺王虎黄志翔彭南博(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张梦瑶(51)Int.Cl.G06F30/27(2020.01)G06F21/60(2013.01)G06K9/62(2006.01)G06N20/00(2019.01)权利要求书6页说明书22页附图9页(54)发明名称联邦学习模型的训练方法、装置、电子设备和存储介质(57)摘要本申请提出一种联邦学习模型的训练方法、装置、电子设备和存储介质，其中，训练方法包括：与数据提供方服务器进行样本对齐；生成特征编码集，以及将数据提供方服务器的特征编号和公钥发送至数据提供方服务器；将当前样本划分为训练集和验证集，并获取联邦学习模型的参数集；根据训练集、验证集、参数集和特征编码集，对联邦学习模型进行M次迭代训练；在M次迭代训练中每次迭代训练的过程中，若判断联邦学习模型满足早停条件，则控制M次迭代训练早停，并获取M次迭代训练中最后一次迭代训练得到的联邦学习模型的目标参数。由此，能够使训练更加高效，同时提升了建模效果，并且采用了早停策略避免模型出现过拟合的同时减少了复杂度。CN113722987ACN113722987A权利要求书1/6页1.一种联邦学习模型的训练方法，其特征在于，包括：与数据提供方服务器进行样本对齐；分别获取业务方服务器和所述数据提供方服务器的特征数量，并根据所述特征数量分别对所述业务方服务器和所述数据提供方服务器的特征进行编号，以生成特征编码集，以及将所述数据提供方服务器的特征编号和公钥发送至所述数据提供方服务器；将当前样本划分为训练集和验证集，并获取联邦学习模型的参数集；根据所述训练集、所述验证集、所述参数集和所述特征编码集，对所述联邦学习模型进行M次迭代训练，其中，所述M为大于1的正整数；在所述M次迭代训练中每次所述迭代训练的过程中，若判断所述联邦学习模型满足早停条件，则控制所述M次迭代训练早停，并获取所述M次迭代训练中最后一次迭代训练得到的所述联邦学习模型的目标参数；若判断所述联邦学习模型未满足所述早停条件，则获取第M次所述迭代训练得到的所述联邦学习模型的目标参数。2.如权利要求1所述的联邦学习模型的训练方法，其特征在于，其中，所述每次迭代训练，包括：从所述参数集中获取样本采样率和特征采样率；从所述训练集中选取所述样本采样率的样本以生成目标训练集；从所述特征编码集中选取所述特征采样率的特征编码以生成目标特征编码集；将所述目标训练集划分为k个目标训练子集，其中，所述k为大于1的正整数；将所述k个目标训练子集中每个样本的编号，以及将所述目标特征编码集中所述数据提供方服务器的目标特征编号发送至所述数据提供方服务器；根据所述k个目标训练子集和所述目标特征编码集，生成所述联邦学习模型的k个初始参数；从所述k个初始参数中确定目标参数；基于梯度提升算法，并根据所述目标参数和所述联邦学习模型，生成所述当前样本的优化标签，其中，所述优化标签为下一轮迭代训练的所述当前样本的训练标签。3.如权利要求2所述的联邦学习模型的训练方法，其特征在于，所述根据所述k个目标训练子集和所述目标特征编码集，生成所述联邦学习模型的k个初始参数，包括：对所述k个目标训练子集进行拆分组合，以得到k个模型训练集，其中，每个所述模型训练集包括k‑1个目标训练子集；分别根据所述k个模型训练集，以及所述目标特征编码集，生成所述k个初始参数。4.如权利要求3所述的联邦学习模型的训练方法，其特征在于，其中，所述根据所述模型训练集，以及所述目标特征编码集，生成所述初始参数，包括：计算所述模型训练集中样本的梯度信息，并将所述梯度信息发送至所述数据提供方服务器；接收所述数据提供方服务器提供的梯度返回信息；根据所述梯度返回信息和所述目标特征编码集生成目标分裂点编号，并基于私钥和所述目标分裂点编号生成密文，以及将所述密文发送至所述数据提供方服务器；接收所述数据提供方服务器发送的解密运算值，并根据所述解密运算值进行节点分2CN113722987A权利要求书2/6页裂；重复以上步骤直至模型收敛,以完成所述联邦学习模型的训练，并通过所述完成训练的联邦学习模型获取所述初始参数。5.如权利要求4所述的联邦学习模型的训练方法，其特征在于，所述计算所述模型训练集中样本的梯度信息，包括：生成所述模型训练集中样本的一阶梯度值和二阶梯度值；对所述一阶梯度值和所述二阶梯度值进