一种基于深度强化学习和异构Spark集群的节能调度方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114281528A(43)申请公布日2022.04.05(21)申请号202111505917.3(22)申请日2021.12.10(71)申请人重庆邮电大学地址400065重庆市南岸区南山街道崇文路2号(72)发明人李鸿健罗浩段小林邹洋熊安萍徐瑄航马建勇王田田(74)专利代理机构重庆辉腾律师事务所50215代理人卢胜斌(51)Int.Cl.G06F9/50(2006.01)G06N3/08(2006.01)G06F9/48(2006.01)权利要求书3页说明书8页附图2页(54)发明名称一种基于深度强化学习和异构Spark集群的节能调度方法及系统(57)摘要本发明属于强化学习和大数据处理领域，具体涉及一种基于深度强化学习和异构Spark集群的节能调度方法及系统；该方法包括：实时获取Spark集群上真实负载下的在线数据信息，将数据信息输入到训练好的Q网络，Q网络对数据信息进行能耗‑时间目标预测，系统根据能耗‑时间目标预测选择能耗‑时间目标最低的方案进行资源分配；本发明考虑到集群异构导致能耗不同从而带来的资源优先分配问题，在保证满足用户响应时间情况下寻找最低能耗‑时间目标，并根据最低能耗‑时间目标进行资源调度，能针对能耗目标或者多种SLA目标进行优化并尽可能的节能减排，对通过此方法来达到平衡云服务提供商成本和用户之间响应时间有重要意义，具有良好的经济效益。CN114281528ACN114281528A权利要求书1/3页1.一种基于深度强化学习和异构Spark集群的节能调度方法，其特征在于，包括：实时获取在线数据信息，将数据信息输入到训练好的Q网络，Q网络对数据信息进行能耗‑时间目标预测，系统根据能耗‑时间目标预测选择能耗‑时间目标最低的方案进行资源分配；对Q网络的训练过程为：S1：获取作业运行的相关配置参数和执行参数；初始化DQN参数；其中，DQN表示DeepQ‑Network即Q网络；S2：根据获取的相关配置参数计算权重系数；S3：根据DQN参数生成ε‑Greedy与Boltzmann联合策略；S4：任务调度器根据ε‑Greedy与Boltzmann联合策略对工作节点进行任务调度；S5：根据权重系数和执行参数构建能耗‑时间模型；根据任务调度和能耗‑时间模型构建奖励模型，根据奖励模型生成奖励值；S6：根据奖励值对DQN参数进行更新，得到更新后的DQN参数；S7：重复执行步骤S3‑S6，当能耗‑时间目标收敛时，完成训练。2.根据权利要求1所述的一种基于深度强化学习和异构Spark集群的节能调度方法，其特征在于，作业运行的相关配置参数包括：执行器数量、cpu资源和内存资源；作业运行的执行参数包括：作业到达时间、作业标识、作业完成时间和作业持续时间。3.根据权利要求1所述的一种基于深度强化学习和异构Spark集群的节能调度方法，其特征在于，ε‑Greedy与Boltzmann联合策略为：其中，s表示集群的资源状态；a是一种动作action，表示选择具体的物理机创建执行器并分配资源；a'表示最大Q值的action；Q(s,a)表示在状态s和action为a的情况下，可能得到的一个累积奖励值；A表示随机的一个action；ε表示概率，step表示任务调度器探索的时间步。4.根据权利要求1所述的一种基于深度强化学习和异构Spark集群的节能调度方法，其特征在于，对工作节点进行任务调度包括：根据ε‑Greedy与Boltzmann联合策略生成动作，根据动作调度资源给工作节点；若任务部分分配或任务无效分配，则将对任务调度器反馈能耗模型下计算出来的大额负奖励；若任务成功分配，则将对任务调度器反馈能耗模型下计算出来的正奖励。5.根据权利要求1所述的一种基于深度强化学习和异构Spark集群的节能调度方法，其特征在于，能耗‑时间模型的公式为：2CN114281528A权利要求书2/3页其中，C0、C1、C2分别表示权重系数，表示第i个节点的cpu利用率，表示第i个节点的内存利用率，t表示工作节点i开始的工作时间，t'表示在当前cpu利用率和内存利用率下的工作结束时间，EAtotal表示集群产生的能耗，AvgT表示所有作业运行的平均时间，表示作业j的运行时间，M表示作业的数量，n表示节点的数量，φ表示所有的作业，target表示能耗‑时间目标值，表示对目标的权重。6.根据权利要求5所述的一种基于深度强化学习和异构Spark集群的节能调度方法，其特征在于，cpu利用率的计算公式为：其中，表示第i个节点的cpu利用率，n表示节点的数量，i表示具体的节点，表示在第i个节点上cpu的使用量，表示在第i个节点上cpu的总量，t表示在第i个节点当前cpu使用率的情况下的运行时间。7.根