基于锚点聚合的联邦学习方法和系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114580662A(43)申请公布日2022.06.03(21)申请号202210186074.3(22)申请日2022.02.28(71)申请人浙江大学地址310058浙江省杭州市西湖区余杭塘路866号(72)发明人魏成坤陈文智江鑫楠林东宇施青松王总辉(74)专利代理机构杭州天勤知识产权代理有限公司33224专利代理师曹兆霞(51)Int.Cl.G06N20/20(2019.01)G06K9/62(2022.01)权利要求书2页说明书7页附图4页(54)发明名称基于锚点聚合的联邦学习方法和系统(57)摘要本发明公开了一种基于锚点聚合的联邦学习方法和系统，包括多个客户端和中心服务器，每个客户端与中心服务器建有通信通道；客户端用于依据当轮次全局锚点指导本地数据集训练当前本地模型，同时更新本地锚点后，上传新本地锚点至中心服务器，其中，本地锚点为根据本地数据对应的特征向量确定的能够代表分类类别的特征点；中心服务器用于对所有客户端上传的新本地锚点进行聚合更新，以得到与各分类类别相对应的全局锚点，并将全局锚点下发至各客户端以指导下一轮次本地训练。该方法和系统在保障模型训练精度的基础上有效地减少了联邦训练的通信量级，同时支持异构性模型的联邦学习。CN114580662ACN114580662A权利要求书1/2页1.一种基于锚点聚合的联邦学习系统，其特征在于，包括多个客户端和中心服务器，每个客户端与中心服务器建有通信通道；客户端用于依据当轮次全局锚点指导本地数据集训练当前本地模型，同时更新本地锚点后，上传新本地锚点至中心服务器，其中，本地锚点为根据本地数据对应的特征向量确定的能够代表分类类别的特征点；中心服务器用于对所有客户端上传的新本地锚点进行聚合更新，以得到与各分类类别相对应的全局锚点，并将全局锚点下发至各客户端以指导下一轮次本地训练。2.根据权利要求1所述的基于锚点聚合的联邦学习系统，其特征在于，客户端依据当前本地锚点指导本地数据集训练本地模型时，采用的损失函数loss为：loss＝αlosssup+(1‑α)lossan其中，α为权重，losssup为基于本地模型输出的分类预测结果构建关于分类预测任务的任务损失；lossan为基于全局锚点构建的指导本地模型训练的指导损失，用于衡量对输入样本数据提取的特征向量在特征投影空间内与指导本地训练的全局锚点之间的关系，表示为：其中，表示属于j类数据的第i个输入数据经过本地模型投影后在特征投影空间上的真实特征向量，表示全局锚点中第j类全局锚点在特征投影空间上的向量表示，relation(·)表示关系函数，用来衡量距离或相似度，T为超参数，取值为0‑1，n为类别索引，N为总类别数。3.根据权利要求1所述的基于锚点聚合的联邦学习系统，其特征在于，客户端在训练本地模型时，采用动量优化算法更新本地锚点，包括：训练本地模型过程中，根据样本数据经过本地模型投影后在特征投影空间上的真实特征向量，采用动量优化算法对当前本地锚点进行更新，通过多批次数据迭代后得到真实特征向量中能够代表分类类别的特征点作为新本地锚点。4.根据权利要求1所述的基于锚点聚合的联邦学习系统，其特征在于，客户端在训练本地模型时，采用中心损失函数更新本地锚点，包括：将本地锚点看作训练参数，在训练过程中，将样本数据经过本地模型投影后在特征投影空间上的真实特征向量与本地锚点做差值，以构建中心损失函数，利用该中心损失函数对本地锚点进行位置更新，以减少真实特征向量与本地锚点之间的平均距离，经过多批次数据迭代后，新本地锚点能够平衡和各类别内对应的各特征向量之间的距离，以接近各特征向量中心并达到稳定，从而足以代表各分类类别的数据特征。5.根据权利要求1所述的基于锚点聚合的联邦学习系统，其特征在于，中心服务器对所有客户端上传的新本地锚点进行聚合更新，包括：对代表每个分类类别的所有新本地锚点进行加权求和并平均，以得到针对每类分类类别的全局锚点。6.根据权利要求1所述的基于锚点聚合的联邦学习系统，其特征在于，在联邦学习之2CN114580662A权利要求书2/2页前，中心服务器还用于构建联邦学习任务并下发至各客户端，其中，联邦学习任务包括初始本地模型、初始全局锚点、联邦学习超参数，其中，联邦学习超参数包括梯度下降算法优化器、本地训练学习率、参与联邦学习的客户端总量、客户端每轮本地训练的轮次、总通信轮次、本地锚点的空间维度、权值衰减率、本地锚点更新过程中需要的动量值或学习率；客户端与中心服务器依据联邦学习任务进行联邦学习。7.根据权利要求1所述的基于锚点聚合的联邦学习系统，其特征在于，本地模型包括特征提取网络、投影网络以及输出层，其中，特征提取网络用于提取输入样本数据的特征图，投影网络用于将特征图