多任务联邦学习系统中设备调度方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115033382A(43)申请公布日2022.09.09(21)申请号202210712017.4(22)申请日2022.06.22(71)申请人中国矿业大学地址221116江苏省徐州市铜山区大学路1号(72)发明人李松孙晓楠孙彦景王博文云霄周玉徐永刚孙华(74)专利代理机构南京经纬专利商标代理有限公司32200专利代理师陈月菊(51)Int.Cl.G06F9/50(2006.01)G06F9/48(2006.01)G06N3/08(2006.01)G06N20/20(2019.01)权利要求书2页说明书7页附图11页(54)发明名称多任务联邦学习系统中设备调度方法(57)摘要本发明公开了一种多任务联邦学习系统中设备调度方法，所述方法的具体步骤为：S1、构建多任务联邦学习的系统模型；S2、建立以最小化多任务联邦学习过程的时间为目标的优化问题；S3、调度设备参与联邦学习任务训练过程；S4、将设备调度过程转化为多臂赌博机和匹配过程；S5、设计设备调度算法。本发明是为联邦学习中的每个任务调度最合适的设备，从而最小化多任务联邦学习过程的时延。CN115033382ACN115033382A权利要求书1/2页1.一种多任务联邦学习系统中设备调度方法，其特征在于，所述方法的具体步骤为：S1、构建多任务联邦学习的系统模型；S2、建立以最小化多任务联邦学习过程的时间为目标的优化问题；S3、调度设备参与联邦学习任务训练过程；S4、将设备调度过程转化为多臂赌博机和匹配过程；S5、设计设备调度算法。2.根据权利要求1所述的多任务联邦学习系统中设备调度方法，其特征在于，S1中系统模型包括M个移动边缘计算服务器，K个终端设备，每个服务器均有一个任务需要训练，即共有M个任务需要训练，所述最优化问题表示为：s.t.C1:C2:C3:ηm(t)∈{0,1},3.根据权利要求2所述的多任务联邦学习系统中设备调度方法，其特征在于，每个服务器均需要从可用的设备的集合中调度设备：其中，表示任务m在第t轮调度的设备集合，表示任务m的可用设备集合，N表示信道数量。4.根据权利要求1所述的多任务联邦学习系统中设备调度方法，其特征在于，在每个任务进行设备调度时需要考虑设备的可用性约束，优化问题可以表示为：s.t.C1:C2:C3:C4:ηm(t)∈{0,1},5.根据权利要求4所述的多任务联邦学习系统中设备调度方法，其特征在于，在多任务联邦学习的设备调度过程中，设备的先验信息都是未知的，在这种情况下，使用多臂赌博机的办法进行设备调度，相应的优化问题可以重述为根据特定策略为每个任务找到最优的动作，以最大化多任务联邦学习的累积奖励：2CN115033382A权利要求书2/2页s.t.C1:C2:6.根据权利要求5所述的多任务联邦学习系统中设备调度方法，其特征在于，多臂赌博机中每个“摇臂”反馈奖励值的更新方式为：7.根据权利要求5所述的多任务联邦学习系统中设备调度方法，其特征在于，多臂赌博机中每个“摇臂”被选择次数的更新方式为：8.根据权利要求5所述的多任务联邦学习系统中设备调度方法，其特征在于，在使用多臂赌博机进行设备调度的过程中，引入匹配的方法，即：每个服务器根据UCB算法反馈的奖励值与设备的价格构建对可用设备的偏好列表：将每个服务器对所有可用设备的偏好列表表示为其是将按照降序的方式排序的，每个服务器根据其偏好列表进行设备调度。9.根据权利要求8所述的多任务联邦学习系统中设备调度方法，其特征在于，考虑一个设备在同一轮只能训练一个任务，存在一个设备被多个服务器调度的情况，在匹配的过程中加入设备的“价格”，当存在一个设备被多个服务器同时调度的情况时，该设备会相应的提高自己的价格ρm,i，选择同一设备的服务器会重新计算其偏好列表，如若设备的“价格”太高，一些服务器就会放弃它，该过程持续，直到不存在一个设备被多个服务器所选择的情况。3CN115033382A说明书1/7页多任务联邦学习系统中设备调度方法技术领域[0001]本发明属于联邦学习领域，特别是一种多任务联邦学习系统中设备调度方法。背景技术[0002]在传统的以云为中心的方法中，移动设备收集的数据在基于云的服务器或数据中心集中上传和处理。然而，由于隐私保护意识的增强，这种方法不再具有优势。为了保护训练数据的隐私性，并促进分布式设备之间复杂模型的协作机器学习(MachineLearning，ML)，McMahan等人在AISTATS上发表的“Communication‑efficientlearningofdeepnetworksfromdecentralizeddata,”文章中引入了一种称为联邦学习(FederatedLearning，FL)的分布式ML方法。