一种基于权重压缩的高效联邦学习方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114301889A(43)申请公布日2022.04.08(21)申请号202111540629.1G06K9/62(2022.01)(22)申请日2021.12.16(71)申请人南京理工大学地址210094江苏省南京市玄武区孝陵卫200号(72)发明人黄婵颖蒋浩李伟琦徐欣桐杨威尹丹肖杉(74)专利代理机构南京理工大学专利中心32203代理人薛云燕(51)Int.Cl.H04L67/01(2022.01)H04L67/06(2022.01)H04L69/04(2022.01)G06N3/08(2006.01)权利要求书3页说明书8页附图4页(54)发明名称一种基于权重压缩的高效联邦学习方法及系统(57)摘要本发明公开了一种基于权重压缩的高效联邦学习方法及系统。该方法为：客户端本地训练结束后计算本地模型的更新值，首先将更新值的符号和数值分开，然后计算更新值较大一部分数值的拟合函数，使用拟合函数代替数值传输，进一步使用LZMA2算法压缩对应索引数据，使用进制编码符号，将客户端和服务器之间的通信从权重参数转换为拟合函数、编码符号和压缩索引从而达到降低通信量的目的。系统包括服务器、客户端；服务器、客户端能实现所述基于权重压缩的高效联邦学习方法中服务器、客户端需要实现的步骤。本发明能适用于不平衡数据分布场景，模型准确率和收敛速度接近联邦平均算法，具有很好的适用性。CN114301889ACN114301889A权利要求书1/3页1.一种基于权重压缩的高效联邦学习方法，其特征在于，应用于客户端与服务器的模型训练，包括：步骤1、客户端使用当前全局模型参数初始化本地模型；步骤2、所有客户端根据本地模型权重进行本地训练，并计算模型权重更新值；步骤3、所有客户端对模型权重更新值进行压缩，生成待上传数据；步骤4、所有客户端将待上传数据上传到服务器；步骤5、服务器接收客户端上传数据，并根据接收的数据重构本轮模型更新值；步骤6、服务器根据本轮模型更新值更新全局模型；步骤7、服务器对本轮模型更新值进行压缩，生成下传数据；步骤8、所有客户端下载下传数据，更新本地模型。2.根据权利要求1所述的基于权重压缩的高效联邦学习方法，其特征在于，步骤2所述计算模型权重更新值，具体包括：所有客户端在训练开始时保存本地模型权重Wlocal；客户端在完成本地训练后用新的本地模型权重W′ocal减去未训练的本地模型权重Wlocal，得到本地模型权重更新值Wchange，如下式所示：Wchange＝W′local‑Wlocal。3.根据权利要求1所述的基于权重压缩的高效联邦学习方法，其特征在于，步骤3所述所有客户端对模型权重更新值进行权重压缩，具体包括：(3.1)按原始分布保存权重更新值的正负号Wsign，权重更新值取绝对值Wc_abs；(3.2)将绝对值化后的权重更新值Wc_abs按模型架构层次分解为各层，表示下式其中layeri表示模型网络中的第i层；i(3.3)对当前训练网络架构的每一层执行相同的操作，当前操作层为layeri，使用W替换表示网络第i层的绝对值化后的权重更新值，执行以下操作Wfi＝Flatten(Wi)Wsi,indexs＝Sort(Wfi)其中Flatten(·)运算是张量维度转换操作，该运算将括号内对象转换为一维张量；Wfi是将Wi转换为一维张量的结果；Sort(·)是张量排序操作，该操作返回从大到小排序后输入数据以及排序后数据在原始数据中的索引，Wsi,indexs分别表示排序后的Wfi和排序操作的变化索引，上述参数满足Wsi[p]＝Wfi[indexs[p]其中[·]操作是取第·位的值，Wsi[p]指Wsi中的第p位的值；(3.4)计算更新阈值，设置最大值的30％作为客户端权重更新的更新阈值T，为消除偶然因素，这里的最大值通过计算Wsi的最大五个数的平均值得到；将所有Wsi中大于T的值作为本轮更新的更新值，记作updates，对应索引为index，对应符号为sign；(3.5)对sign进行编码，将‑1转换为0，然后将sign按序排列视为二进制数，并转换为十六进制，压缩大小，得到编码后符号H‑sign；(3.6)计算updates的平均值，对updates进行中心化，归一化，执行以下操作：2CN114301889A权利要求书2/3页updatesnor＝Normalizeupdates)datamin＝Min(updates)datamax＝Max(updates)updatesc＝updatesnor‑mean其中Min(·),Max(·)分别为求最小值最大值操作；datamin,datamax分别为求得的最小值和最大值；Normalize(·)为归一化操作；upda