预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共14页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115018019A(43)申请公布日2022.09.06(21)申请号202210939615.5(22)申请日2022.08.05(71)申请人深圳前海环融联易信息科技服务有限公司地址518066广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)(72)发明人谢翀兰鹏陈永红赵豫陕(74)专利代理机构北京中强智尚知识产权代理有限公司11448专利代理师王妍(51)Int.Cl.G06K9/62(2022.01)G06N20/20(2019.01)H04L67/01(2022.01)权利要求书2页说明书9页附图2页(54)发明名称基于联邦学习的模型训练方法及系统、存储介质(57)摘要本申请公开了一种基于联邦学习的模型训练方法及系统、存储介质、计算机设备,该方法包括:服务器在客户端集合中采样多个本轮客户端,将本轮初始模型参数发送至本轮客户端中,本轮客户端按本轮初始模型参数配置本地模型后进行模型训练,得到训练后的本轮目标模型参数,并将本轮目标模型参数返回至服务器中;服务器对多个本轮客户端各自返回的本轮目标模型参数进行参数聚合,得到本轮聚合参数;当本轮聚合参数未达到服务器的采样条件时,将本轮聚合参数作为下轮初始模型参数;当本轮聚合参数达到服务器的采样条件时,将本轮聚合参数发送至客户端集合内的每个客户端中,每个客户端按本轮聚合参数配置本地模型后进行最后一轮模型训练。CN115018019ACN115018019A权利要求书1/2页1.一种基于联邦学习的模型训练方法,其特征在于,所述方法包括:服务器在客户端集合中采样多个本轮客户端,将本轮初始模型参数发送至所述本轮客户端中,所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练,得到训练后的本轮目标模型参数,并将所述本轮目标模型参数返回至所述服务器中;所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合,得到本轮聚合参数;当所述本轮聚合参数未达到所述服务器的采样条件时,将所述本轮聚合参数作为下轮初始模型参数,并在所述客户端集合中重新采样多个下轮客户端,向所述下轮客户端发送所述下轮初始模型参数,以通过所述下轮客户端进行下个轮次的模型训练;当所述本轮聚合参数达到所述服务器的采样条件时,将所述本轮聚合参数发送至所述客户端集合内的每个客户端中,每个所述客户端按所述本轮聚合参数配置本地模型后进行最后一轮模型训练。2.根据权利要求1所述的方法,其特征在于,所述服务器在客户端集合中采样多个本轮客户端之前,所述方法还包括:初始化元模型参数,将所述元模型的初始化参数作为第一轮初始模型参数,其中,所述客户端集合中每个所述客户端对应的本地模型的模型结构均与所述元模型的模型结构相同。3.根据权利要求2所述的方法,其特征在于,所述将所述本轮目标模型参数返回至所述服务器中,包括:所述本轮客户端将所述本轮目标模型参数以及本轮训练样本量返回至所述服务器中;所述服务器对多个所述本轮客户端各自返回的所述本轮目标模型参数进行参数聚合,得到本轮聚合参数,包括:所述服务器根据每个所述本轮客户端对应的所述本轮训练样本量占本轮训练样本总数的比例,确定每个所述本轮客户端对应的所述本轮目标模型参数的参数权重,并按所述参数权重对所述本轮目标模型参数进行加权求和,得到所述本轮聚合参数。4.根据权利要求2或3所述的方法,其特征在于,所述元模型为分类模型,用于预测目标输入量属于不同类别的概率;所述本轮客户端按所述本轮初始模型参数配置本地模型后进行模型训练,得到训练后的本轮目标模型参数,包括:若所述本轮客户端为首次被采样,则依据训练样本所属的标签类别与所述本地模型预测出的训练样本属于所述标签类别的概率之间的交叉熵,确定所述本地模型的第一损失函数;所述本轮客户端按所述本轮初始模型参数配置所述本地模型后,将所述第一损失函数作为所述本地模型的目标损失函数,对所述本地模型进行训练。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:若所述本轮客户端为非首次被采样,则依据训练样本所属的标签类别与所述本地模型预测出的训练样本属于所述标签类别的概率之间的交叉熵,确定所述本地模型的第一损失函数;以所述本轮客户端中当前的本地模型作为参照模型,依据所述参照模型对训练样本的预测数据以及本轮训练中的本地模型对训练样本的预测数据之间的KL散度,确定所述本地2CN115018019A权利要求书2/2页模型的第二损失函数;所述本轮客户端按所述本轮初始模型参数配置所述本地模型后,将所述第一损失函数与所述第二损失函数之和作为所述本地模型的目标损失函数,对所述本地模型进行训练。6.根据权利要求5所述的方法,其特征在于,所述依据所述参照模型对训练样本的预