联邦学习方法、装置及联邦学习系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114707662A(43)申请公布日2022.07.05(21)申请号202210398878.X(22)申请日2022.04.15(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人崔锦铭陈岑王力(74)专利代理机构北京永新同创知识产权代理有限公司11376专利代理师林锦辉刘景峰(51)Int.Cl.G06N20/00(2019.01)权利要求书5页说明书17页附图9页(54)发明名称联邦学习方法、装置及联邦学习系统(57)摘要本说明书的实施例提供一种联邦学习方法、装置及联邦学习系统。联邦学习系统包括至少两个第一成员设备和第二成员设备，第一成员设备具有用于全局模型训练的本地数据。在各个第一成员设备处，使用本地数据训练全局模型得到各个模型参数的本地参数更新量；从全局模型的模型参数中选择适合于本地训练的部分模型参数；并将所选择的模型参数的本地参数更新量发送给第二成员设备。在第二成员设备处，使用从各个第一成员设备接收的本地参数更新量重构全局模型的各个模型参数的参数更新量；基于所述重构的各个模型参数的参数更新量进行全局模型更新；以及将更新后的全局模型作为下一模型训练过程的全局模型发送给各个第一成员设备。CN114707662ACN114707662A权利要求书1/5页1.一种联邦学习方法，所述联邦学习方法由联邦学习系统执行，所述联邦学习系统包括至少两个第一成员设备和第二成员设备，第一成员设备具有用于全局模型训练的本地数据，所述联邦学习方法包括：在各个第一成员设备处，使用本地数据训练全局模型得到各个模型参数的本地参数更新量；从全局模型的模型参数中选择适合于本地训练的部分模型参数；将所选择的模型参数的本地参数更新量发送给第二成员设备，在第二成员设备处，使用从各个第一成员设备接收的本地参数更新量重构全局模型的各个模型参数的参数更新量；基于所述重构的各个模型参数的参数更新量进行全局模型更新；以及将更新后的全局模型作为下一模型训练过程的全局模型发送给各个第一成员设备。2.如权利要求1所述的联邦学习方法，其中，从全局模型的模型参数中选择适合于本地训练的部分模型参数包括：基于本地数据的数据特性，从全局模型的模型参数中选择适合于本地训练的部分模型参数。3.如权利要求1所述的联邦学习方法，其中，将所选择的模型参数的本地参数更新量发送给第二成员设备包括：将所选择的模型参数的本地参数更新量以隐私保护方式发送给第二成员设备。4.如权利要求3所述的联邦学习方法，其中，所述第二成员设备包括第一数目个第二成员设备，将所选择的模型参数的本地参数更新量以隐私保护方式发送给第二成员设备包括：将各个所选择模型参数的本地参数更新量分片为第一数目个参数更新量分片；以及将各个所选择模型参数的参数更新量分片中的一个参数更新量分片发送给所述第二成员设备中的一个第二成员设备，其中，各个第二成员设备使用所接收的参数更新量分片协同重构全局模型的各个模型参数的参数更新量。5.如权利要求4所述的联邦学习方法，其中，各个第一成员设备所发送的参数更新量的个数相同，所述第二成员设备包括两个第二成员设备，在各个第一成员设备处将各个所选择模型参数的本地参数更新量分片为第一数目个参数更新量分片包括：使用第一哈希函数集来基于所选择模型参数的参数编号构建布谷鸟哈希表，所构建的布谷表哈希表的位置基于第一成员设备所发送的参数更新量个数确定，所选择模型参数的参数编号被插入所述布谷鸟哈希表的对应位置，并且所述布谷鸟哈希表中的每个位置放置一个参数编号；以及基于所述布谷鸟哈希表和简单哈希表，使用分布式点函数将各个所选择模型参数的本地参数更新量分片为两个参数更新量分片，所述简单哈希表使用所述第一哈希函数集以及全局模型的所有模型参数的参数编号构建，其中，所述简单哈希表包括多行参数编号集合，每行参数编号集合放置一个或多个参数编号。6.如权利要求5所述的联邦学习方法，其中，基于所述布谷鸟哈希表和简单哈希表，使2CN114707662A权利要求书2/5页用分布式点函数将各个所选择模型参数的本地参数更新量分片为两个参数更新量分片包括：获取各个所选择模型参数的参数编号在所述布谷鸟哈希表中的第一位置；确定各个所选择模型参数的参数编号在所述简单哈希表中与所述第一位置对应的一行参数编号集合中的第二位置；以及基于各个所选择模型参数在所述简单哈希表中的第二位置，使用分布式点函数中的分布式密钥生成算法将各个所选择模型参数的本地参数更新量分别分片为两个参数更新量分片。7.如权利要求6所述的联邦学习方法，其中，在各个第二成员设备处，使用从各个第一成员设备接收的本地参数更新量协同重构全局模型的各个模型参数的参数