分类预测模型训练方法、分类预测方法、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965078A(43)申请公布日2023.04.14(21)申请号202211564028.9(22)申请日2022.12.07(71)申请人中南大学地址410083湖南省长沙市岳麓区麓山南路932号申请人湖南能源大数据中心有限责任公司(72)发明人唐程马骏王向阳刘小海刘彤吕丰(74)专利代理机构长沙正奇专利事务所有限责任公司43113专利代理师李发军曾利平(51)Int.Cl.G06N3/096(2023.01)G06N3/0464(2023.01)G06F18/24(2023.01)权利要求书3页说明书8页附图2页(54)发明名称分类预测模型训练方法、分类预测方法、设备及存储介质(57)摘要本发明公开了一种分类预测模型训练方法、分类预测方法、设备及存储介质，该训练方法包括每个客户端利用本地训练数据集对本地分类预测模型进行训练，计算出本地训练数据集中各类数据的原型，计算出公共数据集的软决策；中央服务器端将所有原型和所有软决策进行聚合，利用聚合后的原型和聚合后的软决策构建优化目标函数，并对全局分类预测模型进行训练，计算出公共数据集的软决策；每个客户端利用接收到的软决策和公共数据集对本地分类预测模型进行训练；当循环轮次等于设定轮次时，得到训练好的各本地分类预测模型和全局分类预测模型。本发明可以减少服务器与客户端之间的通信开销，实现模型架构个性化，提高模型精度。CN115965078ACN115965078A权利要求书1/3页1.一种基于联邦知识蒸馏算法的分类预测模型训练方法，其特征在于，包括以下步骤：步骤1：构建由中央服务器端和N个客户端C＝{C1,C2,...,Ci,...,CN}组成的联邦学习系统，其中，N≥2，Ci表示第i个客户端；i步骤2：每个所述客户端C均在本地构建带标注的本地训练数据集Di和本地分类预测模型Xi，且令循环轮次t＝1；i步骤3：每个所述客户端C在本地利用本地训练数据集Di对本地分类预测模型Xi进行迭代训练，并利用训练后的本地分类预测模型Xi计算出本地训练数据集Di中各类数据的原型其中，类k数据的原型是指类k数据的本地分类预测模型Xi输出特征向量的平均值；i每个所述客户端C在本地利用训练后的本地分类预测模型Xi计算出未带批注的公共数据集DP的软决策其中，所述软决策是指本地分类预测模型Xi的预测输出；步骤4：所有客户端C将各自计算出的原型和软决策发送给所述中央服务器端；步骤5：所述中央服务器端将接收到的每个类所有原型和所有软决策分别进行聚合，得到聚合后的各类原型和聚合后的软决策；利用聚合后的各类原型和聚合后的软决策构建优化目标函数，利用公共数据集DP和优化目标函数对构建的全局分类预测模型进行迭代训练；利用训练后的所述全局分类预测模型计算出未带批注的公共数据集DP的软决策其中，所述软决策是指全局分类预测模型的预测输出；步骤6：所述中央服务器端将所述软决策发送给每个所述客户端ci；i步骤7：每个所述客户端C利用接收到的软决策和公共数据集DP对本地分类预测模型Xi进行迭代训练；步骤8：判断循环轮次t是否等于设定轮次，如果是，则得到训练好的各本地分类预测模型Xi和全局分类预测模型；否则，令t＝t+1，并跳转至步骤3。2.根据权利要求1所述的基于联邦知识蒸馏算法的分类预测模型训练方法，其特征在于，所述本地分类预测模型和全局分类预测模型均采用深度残差网络模型。3.根据权利要求1所述的基于联邦知识蒸馏算法的分类预测模型训练方法，其特征在于，对于所述客户端Ci，类k数据的原型的具体计算公式为：其中，Dk表示类为k的数据集，Rw(·)表示本地分类预测模型Xi的输入层和隐藏层网络，(xj,yj)∈Dk表示数据集Dk中的所有数据，xj表示第j个输入样本，yj表示与输入样本xj对应的标注。4.根据权利要求1所述的基于联邦知识蒸馏算法的分类预测模型训练方法，其特征在于，对类k的所有原型进行聚合的聚合公式为：2CN115965078A权利要求书2/3页其中，Nk表示拥有类k的原型的客户端的数量，Pk表示聚合后的类k的原型；对所有软决策进行聚合的聚合公式为：其中，表示聚合后的软决策。5.根据权利要求1～4中任一项所述的基于联邦知识蒸馏算法的分类预测模型训练方法，其特征在于，利用聚合后的各类原型和聚合后的软决策构建的优化目标函数的具体表达式为：其中，(xj,k)∈DP表示无标签的公共数据集DP，k表示样本xj的预测标签且由所有软决策iNi聚合后的分布所决定的；L2(·)为相对熵损失函数；C∈C表示所有客户端；α表示i客户端C的软决策的权重；表示全局分类预测模型的软决策；LM(·)表示均i方根损失函数；Nk表示拥有类k的原型的客户端的数量；λ表示超参数；表示客户端C基于类