一种联邦学习方法以及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115249073A(43)申请公布日2022.10.28(21)申请号202110450585.7(22)申请日2021.04.25(71)申请人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼(72)发明人张琦周培晨陈钢陈东升(74)专利代理机构深圳市深佳知识产权代理事务所(普通合伙)44285专利代理师聂秀娜(51)Int.Cl.G06N20/20(2019.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书4页说明书28页附图8页(54)发明名称一种联邦学习方法以及装置(57)摘要本申请提供一种联邦学习方法以及装置，用于在跨设备的联邦学习过程中，对各个服务器之间的聚合信息进行同步，从而使每轮迭代学习过程中服务器的数据保持同步，使每个服务器上都具有更全面的数据，提高整体的学习效率。该方法包括：第一服务端接收至少一个第一客户端发送的请求消息；第一服务端向至少一个第一客户端发送全局模型和训练配置参数；第一服务端接收至少一个第一客户端分别反馈的第一模型更新参数；第一服务端对第一模型更新参数进行聚合以得到在本轮迭代中的第一聚合信息；第一服务端获取第二服务端发送的第二聚合信息；第一服务端基于第一聚合信息和第二聚合信息，更新第一服务端上存储的全局模型。CN115249073ACN115249073A权利要求书1/4页1.一种联邦学习方法，其特征在于，应用于联邦学习系统，所述联邦学习系统中包括多个服务端和多个客户端，所述多个服务端包括第一服务端和第二服务端，所述多个服务端用于进行迭代学习以实现联邦学习，其中所述迭代学习中的任意一轮迭代的过程包括：所述第一服务端接收至少一个第一客户端发送的请求消息，所述请求消息用于请求所述第一服务器中存储的全局模型；所述第一服务端向所述至少一个第一客户端发送所述全局模型的信息和训练配置参数；所述第一服务端接收至少一个第一客户端分别反馈的第一模型更新参数，所述第一模型更新参数是所述至少一个第一客户端训练的全局模型的参数；所述第一服务端对所述至少一个第一客户端反馈的第一模型更新参数进行聚合，以得到在本轮迭代中的第一聚合信息；所述第一服务端获取所述第二服务端发送的第二聚合信息，所述第二聚合信息为所述第二服务端在本轮迭代中，对接收到的第二模型更新参数进行聚合得到的信息；所述第一服务端基于所述第一聚合信息和所述第二聚合信息，更新所述第一服务端上存储的所述全局模型，以得到更新后的全局模型。2.根据权利要求1所述的方法，其特征在于，所述多个服务端中包括的所述第二服务端的数量为多个，所述第一服务端获取所述第二服务端发送的第二聚合信息，包括：所述第一服务端接收所述多个第二服务端分别发送的所述第二聚合信息；所述第一服务端基于所述第一聚合信息和所述第二聚合信息，更新所述第一服务端上存储的所述全局模型，包括：所述第一服务端基于所述第一聚合信息和所述多个第二服务端分别发送的所述第二聚合信息，更新所述第一服务端上存储的所述全局模型，以得到更新后的全局模型。3.根据权利要求1或2所述的方法，其特征在于，所述第一服务端为所述联邦学习系统中的主节点，所述主节点用于对所述多个服务端进行管理，所述第一服务端获取第二服务端发送的第二聚合信息，还包括：所述第一服务端向所述第二服务器发送第一触发指示，所述第一触发指示用于指示所述第二服务端向所述第一服务端发送所述第二聚合信息；所述第一服务端接收所述第二服务端中的第二聚合信息。4.根据权利要求2所述的方法，其特征在于，所述第一服务器中设置有计数器，所述计数器用于对所述多个服务端接收到的所述请求消息的数量进行计数，所述第一服务端向所述第二服务器发送第一触发指示，包括：当所述计数器的数值满足第一阈值时，所述第一服务端向所述第二服务端发送所述第一触发指示。5.根据权利要求4所述的方法，其特征在于，所述第一阈值为预设值，或者，所述第一阈值与上一轮迭代过程中接入所述联邦学习系统的客户端的数量相关。6.根据权利要求3‑5中任一项所述的方法，其特征在于，所述主节点中包括计时器，所述计时器从每一轮迭代中接收到第一个请求消息之后开始计时，所述方法还包括：当所述计时器超过第二阈值时，所述第一服务端向所述第二服务器发送的第二触发指2CN115249073A权利要求书2/4页示，所述第二触发指示用于指示所述第二服务器进行下一轮迭代。7.根据权利要求6所述的方法，其特征在于，所述第二阈值为预设值，或者，所述第二阈值与上一轮迭代中接入所述联邦学习系统的客户端的数量相关，或者，所述第二阈值与上一轮迭代中联邦学习系统内的每个服务端和对应的客户端之间进行通信的数据量的大小相关。8.根据权利要求1‑7中任一项所述的方法