Hadoop0200源码流程分析.doc

Hadoop源码以及流程解析
整体结构
DN:Configuration,JobClient,JobConf
Master:JobTracker,JobInProgress,TaskInProgress
WN:TaskTracker,Task(MapTask、ReduceTask),JvmManager,Child

图1整体结构
Client
Configuration
从Configuration类的源代码可以看到，定义了如下私有成员变量：

privatebooleanquietmode=true;//第一个是boolean型变量quietmode，用于设置加载配置的模式。通过阅读源代码就可以清楚，这个quietmode如果为true，实际上默认就为true，加载配置的模式为快速模式，其实也就是在解析配置文件的过程中，不输出日志信息，就这么简单。
privateArrayListdefaultResources=newArrayList();//它是一个列表，该列表中存放的是配置文件的名称
privateArrayList<Object>resources=newArrayList<Object>();//全部资源的配置包括URL、String、Path、InputStream
privateSet<String>finalParameters=newHashSet<String>();//程序性的
privatebooleanloadDefaults=true;//是否载入默认资源
privatestaticfinalWeakHashMap<Configuration,Object>REGISTRY=newWeakHashMap<Configuration,Object>();//
privatePropertiesproperties;//个人程序所需要的所有配置会以Properties的形式存储
privatePropertiesoverlay;//它也是一个Properties变量。它对应于finalResources列表，也就是解析finalResources列表中设置的配置文件，配置项设置到overlay中。这里，overlay比较关键的一点就是，如果overlay不为空属性配置，在创建一个Configuration实例的时候会检查overlay，不空就将其中的配置项加入到properties中
privateClassLoaderclassLoader;//类加载器
在这里所有客户端程序中配置的类的信息和其他运行信息，都会保存在这个类里。
JobClient
JobClient.runJob(job)静态方法会实例化一个JobClient实例,然后用此实例的submitJob(job)方法向master提交作业。此方法会返回一个RunningJob对象，它用来跟踪作业的状态。作业提交完毕后，JobClient会根据此对象开始轮询作业的进度，直到作业完成。
submitJob(job)内部是通过submitJobInternal(job)方法完成实质性的作业提交。submitJobInternal(job)方法首先会向hadoop分布系统文件系统hdfs依次上传三个文件:job.jar,job.split和job.xml。
job.xml:作业配置，例如Mapper,Combiner,Reducer的类型，输入输出格式的类型等。
job.jar:jar包,里面包含了执行此任务需要的各种类，比如Mapper,Reducer等实现。
job.split:文件分块的相关信息，比如有数据分多少个块，块的大小(默认64m)等。
这三个文件在hdfs上的路径由hadoop-default.xml文件中的mapreduce系统路径mapred.system.dir属性+jobId决定。mapred.system.dir属性默认是/tmp/hadoop-user_name/mapred/system。写完这三个文件之后,此方法会通过RPC调用master节点上的JobTracker.submitJob(job)方法，此时作业已经提交完成。
关键代码流程解析：
jobClient.submit();调用jobClient.submitJobInternal(conf);在这个函数中利用jobId建立提交根路径，jar文件路径，job分割文件的路径，job.xml路径。代码如下：
JobIDjobId=jobSubmitClient.getNewJobId();//生成jobIdrpc
PathsubmitJobDir=newPath(getSystemDir(),jobId.toString());//用jobId来建立