基于公平的Hadoop贪心调度算法研究的任务书.docx

基于公平的Hadoop贪心调度算法研究的任务书
1.研究背景
随着大数据的快速发展，Hadoop作为一种开源的分布式计算框架被广泛应用。Hadoop系统具有高效、可扩展、容错性强等优势，但是随着任务规模的不断扩大，资源之间的竞争变得越来越剧烈，任务调度成为了Hadoop系统中的一个瓶颈。因此，如何有效地调度任务来提高系统性能和资源利用率成为了Hadoop系统优化中一个重要的研究方向。
在Hadoop系统中，任务调度需要考虑多个因素，如任务的优先级、执行时间、资源需求等等。因此，如何制定一种公平的任务调度算法来平衡资源分配，满足多样化的任务需求，提高任务执行效率成为了Hadoop系统研究的重要问题。
2.研究目的
本研究旨在设计一种基于公平的Hadoop贪心调度算法。具体来说，研究目的如下：
（1）通过分析当前Hadoop系统中存在的任务调度问题，提出一种面向公平的调度算法。
（2）基于贪心算法设计调度策略，使得调度算法更加高效，同时保证调度的公平性。
（3）使用大量实验数据对算法进行测试，在不同的任务规模下评估算法的性能和效果。
3.研究内容
（1）调研分析Hadoop系统中任务调度的问题和主流算法，比较其优缺点，总结现有研究成果。
（2）设计基于公平的贪心调度算法。通过优先级调度和资源分配确定任务需要的资源，同时考虑到已经占据资源的任务，充分利用现有资源，同时保证公平性。
（3）实验测试。使用Hadoop集群和大量数据进行模拟实验，得到各种调度算法的性能数据，并进行分析比较。
（4）总结与讨论。在实验数据分析的基础上，总结算法效果、优点和问题，并提出改进方案和未来研究方向。
4.预期成果
本研究预期将提出一种基于公平的Hadoop贪心调度算法，并进行实验测试，获得大量实验数据。预期成果如下：
（1）设计一种面向公平的贪心算法，提高任务调度的效率和公平性。
（2）在实验测试中，根据多种性能指标评估算法的效果和优点。
（3）提出算法改进方案和未来研究方向。
5.研究方法
本研究采用以下研究方法：
（1）文献调研。通过文献综述和实验分析，深入研究Hadoop系统中任务调度问题和主流算法，为算法设计提供依据。
（2）算法设计。基于贪心算法和公平性原则，设计一种面向公平的任务调度算法。
（3）实验测试。在Hadoop集群上模拟任务调度情况，使用大量数据进行实验测试，并根据多种指标对算法进行评估和比较。
（4）数据分析。对实验数据进行统计和分析，得出不同算法的性能和效果，并总结成果。
6.研究意义
本研究具有以下意义：
（1）提出一种面向公平的贪心调度算法，解决当前Hadoop系统中任务调度问题，提高系统整体性能和资源利用率。
（2）提出优化Hadoop系统性能的新思路和方法，为分布式计算系统设计和优化提供一定的参考和借鉴。
（3）本研究结果可以推广到其他分布式计算系统中，具有一定的通用性和实际应用价值。
7.研究计划
（1）第一学期：调研分析Hadoop系统中任务调度问题和主流算法，制定研究计划和方案。
（2）第二学期：设计基于公平的贪心调度算法，并进行初步实验。
（3）第三学期：完善算法设计并进行更为详细的实验测试。
（4）第四学期：整理实验数据，进行分析和总结，并撰写论文。
8.参考文献
[1]ChouCC,HuangCJ,LuJC,etal.EfficientandfairschedulingforHadoopclusterwithcarryingcapacity[C]//Cluster,CloudandGridComputing(CCGrid),201616thIEEE/ACMInternationalSymposiumon.IEEE,2016:559-562.
[2]王超,耿志森,董维松,等.分布式计算中基于贪心思想的任务调度算法[J].计算机学报,2006,29(3):412-420.
[3]石宇,张卫华,贾伟东,等.Hadoop集群中多目标任务调度策略[J].软件学报,2012,23(1):147-162.
[4]杨云松,田增民.基于多目标优化的Hadoop集群调度算法[J].计算机研究与发展,2018,55(3):632-641.
[5]林辉,陈智伟,韦鹏,等.基于并行遗传算法的Hadoop2.0YARN集群调度方法[J].武汉大学学报(自然科学版),2015,61(1):46-50.