MapReduce推测执行策略及倾斜数据处理优化的任务书.docx

MapReduce推测执行策略及倾斜数据处理优化的任务书
任务书
题目：MapReduce推测执行策略及倾斜数据处理优化
背景：
MapReduce是一种分布式计算模型，用于处理大规模数据计算任务。它的优点是它可以在几台机器之间分配计算任务，并在本地计算机器上处理。这样可以大大减少数据传输并提高处理速度。然而，在MapReduce过程中，我们可能会遇到数据倾斜或处理不均匀的问题，这会导致部分数据的处理时间远远高于其他数据的处理时间。因此，我们需要一种机制来处理倾斜数据，以提高MapReduce的性能。
任务描述：
本次任务主要分为两个部分：
第一部分：推测执行策略
使用推测执行策略可以更好地处理处理时间较长的任务，特别是在可预测环境中的工作负载。因此，本任务将要求学员实现一个MapReduce程序，并使用推测执行策略，以提高程序的性能。
任务要求：
-实现一个MapReduce程序。
-使用推测执行策略进行Map任务的优化。
-使用推测执行策略进行Reduce任务的优化。
-对比使用推测执行策略与不使用推测执行策略的性能，进行分析和总结。
第二部分：倾斜数据处理优化
在MapReduce过程中，由于数据分布的不均匀性，可能会导致某些Reduce任务的负载过重。因此，需要采用合适的算法和技术来处理数据的倾斜分布，并提高MapReduce程序的性能。
任务要求：
-实现一个MapReduce程序。
-模拟数据倾斜分布并手动制造倾斜数据，用于测试程序性能。
-实现一种数据倾斜处理算法（如DynamicRebalancing、Combiner等），优化程序性能。
-对比使用算法进行数据倾斜处理前后程序的性能，进行分析和总结。
参考资料：
1.Dean,J.,&Ghemawat,S.(2004,December).MapReduce:simplifieddataprocessingonlargeclusters.InCommunicationsoftheACM(Vol.51,No.1,pp.107-113).
2.Chen,T.,Li,M.,Liu,S.,&Wang,F.(2013,December).AnefficientdynamicrebalancingalgorithmforskewedMapReduceworkload.InHighPerformanceComputingandCommunications&2013IEEEInternationalConferenceonEmbeddedandUbiquitousComputing(HPCC_EUC),2013IEEE10thInternationalConferenceon(pp.1987-1992).IEEE.
3.Zhang,Y.,Chen,X.,Guo,J.,Fang,Y.,&Zhou,H.(2018).UsingCombinerstoSolveSkewnessProbleminMapReduce.InComputerScienceandItsApplications(pp.19-31).Springer,Singapore.
评分标准：
-程序的正确性和可读性（20%）。
-实现的推测执行策略的有效性和性能分析（40%）。
-实现的倾斜数据处理算法的有效性和性能分析（40%）。
要求：
1.请使用Java或Python实现本次任务，提交可运行的程序代码。
2.请在程序中添加注释和必要的文档，以便别人能够理解并运行程序。
3.请限定程序运行环境，并在提交作业时注明限定环境。
4.请在提交作业时附上必要的运行说明（如编译方式、运行方式、输入数据格式等）。
5.请在提交作业时附上性能测试数据和性能分析结果。
截止日期：2022年1月1日