MapReduce源码分析完整版.doc

一MapReduce概述
Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programmingmodel），是一个用于处理和生成大规模数据集（processingandgeneratinglargedatasets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达。
二MapReduce工作原理
1Map-Reduce
Map-Reduce框架的运作完全基于<key,value>对，即数据的输入是一批<key,value>对，生成的结果也是一批<key,value>对，只是有时候它们的类型不一样而已。Key和value的类由于需要支持被序列化（serialize）操作，所以它们必须要实现Writable接口，而且key的类还必须实现WritableComparable接口，使得可以让框架对数据集的执行排序操作。
一个Map-Reduce任务的执行过程以及数据输入输出的类型如下所示：
Map：<k1,v1>——>list<k2,v2>
Reduce：<k2,list<v2>>——><k3,v3>
2例子
下面通过一个的例子来详细说明这个过程。WordCount是Hadoop自带的一个例子，目标是统计文本文件中单词的个数。假设有如下的两个文本文件来运行WorkCount程序：
HelloWorldByeWorld
HelloHadoopGoodByeHadoop
2.1map数据输入
Hadoop针对文本文件缺省使用LineRecordReader类来实现读取，一行一个key/value对，key取偏移量，value为行内容。
如下是map1的输入数据：

Key1Value10HelloWorldByeWorld如下是map2的输入数据：

Key1Value10HelloHadoopGoodByeHadoop
2.2map输出/combine输入
如下是map1的输出结果

Key2Value2Hello1World1Bye1World1
如下是map2的输出结果

Key2Value2Hello1Hadoop1GoodBye1Hadoop1
2.3combine输出
Combiner类实现将相同key的值合并起来，它也是一个Reducer的实现。
如下是combine1的输出

Key2Value2Hello1World2Bye1
如下是combine2的输出
Key2Value2Hello1Hadoop2GoodBye12.4reduce输出
Reducer类实现将相同key的值合并起来。
如下是reduce的输出

Key2Value2Hello2World2Bye1Hadoop2GoodBye1三MapReduce框架结构
1角色
1.1JobClient
每一个job都会在用户端通过JobClient类将应用程序以及配置参数打包成jar文件存储在HDFS，并把路径提交到JobTracker，然后由JobTracker创建每一个Task（即MapTask和ReduceTask）并将它们分发到各个TaskTracker服务中去执行。
1.2JobTracker
JobTracker是一个master服务，JobTracker负责调度job的每一个子任务task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。
1.3TaskTracker
TaskTracker是运行于多个节点上的slaver服务。TaskTracker则负责直接执行每一个task。TaskTracker都需要运行在HDFS的DataNode上，

2数据结构
2.1Mapper和Reducer
运行于Hadoop的MapReduce应用程序最基本的组成部分包括一个Mapper和一个Reducer类，以及一个创建JobConf的执行程序，在一些应用中还可以包括一个Combiner类，它实际也是Reducer的实现。
2.2JobInProgress
JobClient提交job后，JobTracker会创建一个JobInProgress来跟踪和调度这个job，并把它添加到job队列里。JobInProgress会根据提交的jobjar中定义的输入数据集（已分解成FileSplit）创建对应的一批TaskInProg