一种联邦学习方法以及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115860146A(43)申请公布日2023.03.28(21)申请号202111123080.6(22)申请日2021.09.24(71)申请人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼(72)发明人李银川邵云峰王浩智(74)专利代理机构深圳市深佳知识产权代理事务所(普通合伙)44285专利代理师闵晶晶(51)Int.Cl.G06N20/20(2019.01)G06N3/092(2023.01)G06N3/04(2023.01)权利要求书2页说明书24页附图11页(54)发明名称一种联邦学习方法以及装置(57)摘要本申请提供一种人工智能领域的联邦学习方法、装置及系统，用于在进行联邦学习的过程中，通过对客户端反馈的端侧模型的参数维度进行变换，来适应客户端数据异构的场景。该方法包括：首先，服务器获取第一模型集合，第一模型集合中的多个端侧模型的至少一种参数的维度不相同；服务器对多个端侧模型中的至少一个端侧模型的该至少一种参数的维度进行变换，变换模型和未变换的模型组成第二模型集合，第二模型集合中的模型的至少一种参数的维度相同，该至少一种参数包括了多个端侧模型中需要进行聚合的参数；随后服务器对第二模型集合中的模型进行聚合，得到第一全局模型；服务器向至少一个客户端下发第一全局模型的信息。CN115860146ACN115860146A权利要求书1/2页1.一种联邦学习方法，其特征在于，包括：服务器获取第一模型集合，所述第一集合中包括至少一个客户端的多个端侧模型的信息，所述多个端侧模型的至少一种参数的维度不相同；所述服务器对所述多个端侧模型中的至少一个端侧模型的所述至少一种参数的维度进行变换,得到至少一个变换模型，第二模型集合中包括所述至少一个变换模型和所述第一模型集合中未经过变换的模型，所述第二模型集合中的模型的所述至少一种参数的维度相同；所述服务器对所述第二模型集合中的模型进行聚合，得到第一全局模型；所述服务器向所述至少一个客户端下发所述第一全局模型的信息。2.根据权利要求1所述的方法，其特征在于，所述多个端侧模型的信息包括观测状态空间或动作维度空间中的至少一种，所述观测状态空间包括状态信息，所述动作维度空间中包括任务相关的动作信息。3.根据权利要求2所述的方法，其特征在于，所述服务器对所述多个端侧模型中的至少一个端侧模型的至少一种参数的维度进行变换，得到第二模型集合，包括：所述服务器对所述至少一个端侧模型对应的所述观测状态空间或所述动作维度空间的维度进行拉伸或者压缩，得到所述第二模型集合。4.根据权利要求1‑3中任一项所述的方法，其特征在于，在所述服务器获取至少一个客户端的多个端侧模型的信息之前，所述方法还包括：所述服务器向所述至少一个客户端下发第二全局模型，所述第二全局模型用于所述至少一个客户端使用本地保存的数据进行强化学习，得到所述多个端侧模型。5.根据权利要求4所述的方法，其特征在于，所述服务器向所述至少一个客户端下发所述第一全局模型的信息，包括：所述服务器获取所述第一全局模型和所述第二全局模型之间的残差，得到残差项；所述服务器向所述至少一个客户端发送所述残差项。6.根据权利要求4或5所述的方法，其特征在于，所述多个端侧模型为所述至少一个客户端结合距离约束使用本地保存的数据进行强化学习得到，所述距离约束包括所述至少一个客户端本地保存的模型和所述第二全局模型之间的距离形成的约束。7.根据权利要求1‑6中任一项所述的方法，其特征在于，所述服务器对所述第二模型集合中的模型进行聚合，得到第一全局模型，包括：所述服务器根据预先设定的衰减因子对所述第二模型集合中的模型进行聚合，得到所述第一全局模型。8.一种联邦学习装置，其特征在于，包括：获取模块，用于获取第一模型集合，所述第一集合中包括至少一个客户端的多个端侧模型的信息，所述多个端侧模型的至少一种参数的维度不相同；变换模块，用于对所述多个端侧模型中的至少一个端侧模型的所述至少一种参数的维度进行变换,得到至少一个变换模型，第二模型集合中包括所述至少一个变换模型和所述第一模型集合中未经过变换的模型，所述第二模型集合中的模型的所述至少一种参数的维度相同；聚合模块，用于对所述第二模型集合中的模型进行聚合，得到第一全局模型；2CN115860146A权利要求书2/2页收发模块，用于向所述至少一个客户端下发所述第一全局模型的信息。9.根据权利要求8所述的装置，其特征在于，所述多个端侧模型的信息包括观测状态空间或动作维度空间中的至少一种，所述观测状态空间包括状态信息，所述动作维度空间中包括任务相关的动作信息。10.根据权利要求9所述的装置，其特征在于，所述变换模块，具体用于对所述至少一个端侧模型对应的所述观测状