大规模异构计算集群的双层作业调度系统研究.docx

大规模异构计算集群的双层作业调度系统研究
大规模异构计算集群的双层作业调度系统研究
摘要：
随着科学技术的快速发展，大规模异构计算集群已经成为高性能计算的重要组成部分。为了提高异构计算集群的资源利用率和作业完成时间，研究人员提出了各种作业调度系统。本论文主要研究了一种基于双层结构的作业调度系统，旨在实现对大规模异构计算集群的高效管理和调度。
第一章引言
1.1背景
大规模异构计算集群由于其具有高性能、高效能以及成本低的特点，在科学计算领域得到了广泛的应用。然而，由于异构计算集群中的计算节点具有不同的处理能力、存储能力和通信能力，如何高效地进行作业调度成为了亟待解决的问题。
1.2目的和意义
本论文旨在提出一种基于双层结构的作业调度系统，通过合理地分配作业和资源，提高异构计算集群的性能和资源利用效率，减少作业完成时间，从而提高科学计算的效率。
第二章相关工作
2.1作业调度系统的分类
作业调度系统可以分为集中式调度系统和分布式调度系统两种。集中式调度系统将作业提交到一个中央调度器中进行管理和调度，而分布式调度系统将作业和资源分配到多个调度器中进行管理和调度。
2.2异构计算集群的作业调度算法
目前，已经提出了很多作业调度算法用于异构计算集群。这些算法主要包括负载均衡算法、遗传算法、遗传-贪心混合算法等。这些算法在提高异构计算集群的资源利用率和作业完成时间方面取得了一定的成果。
第三章双层结构的作业调度系统设计
3.1系统架构
双层作业调度系统由全局调度器和局部调度器组成。全局调度器负责接收和管理所有作业的提交请求，然后将作业分配给局部调度器进行具体的资源分配和调度。局部调度器根据自身的资源状态和作业需求，选择合适的计算节点进行作业调度。
3.2全局调度器的任务
全局调度器不仅要负责作业的调度，还要负责监控整个集群的资源使用情况，并根据集群的负载情况和作业的优先级，制定合理的调度策略。全局调度器还要负责作业的调度记录和性能统计等工作。
3.3局部调度器的任务
局部调度器负责根据全局调度器的任务分配，结合自身的资源情况，选择最佳的计算节点进行作业调度。局部调度器还要负责监控计算节点的性能和资源情况，并根据需要进行资源的调整和分配，以提高系统的性能和资源利用效率。
第四章实验与结果分析
在本章中，我们将通过实验来验证双层作业调度系统的性能和效果。我们将使用一台大规模异构计算集群，模拟不同的作业场景，评估双层作业调度系统在不同负载下的性能表现，并与其他作业调度算法进行对比。
第五章结论
通过对大规模异构计算集群的双层作业调度系统进行研究和设计，我们可以提高异构计算集群的性能和资源利用效率，减少作业完成时间，从而提高科学计算的效率。本论文的研究成果具有一定的理论和实际应用价值。
参考文献：
[1]A.Beloglazov,R.Buyya.Adaptivethreshold-basedapproachforenergy-efficientconsolidationofvirtualmachinesinclouddatacenters[J].ClusterComputing.2012,15(3):253-269.
[2]A.Younge,D.Pundir,L.Wang,etal.Towardshigh-performancemany-taskcomputingforscience[J].FutureGenerCompSy,2018,85:287-300.
[3]L.Somogyi.SchedulingJobsandTime-awarePackinginHeterogeneousSystems[M].Beyondintractability,2012.
[4]J.Cao,Y.Xiao,J.Liu.AMultiplePlaneandPrioritybasedapproachforResourceManagementandJobSchedulinginDatacenters[J].2015,NewYork,USA.
[5]S.Wang,K.Song,Y.Xiao,Q.Zhang.EnergyMinimizingLifetimeApportionmentandSchedulingforHeterogeneousEmbeddedSystems[C].2018,LosAngeles,USA.