预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共29页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

Hadoop及Mapreduce入门OutlinesHadoop,Why?HadoopHistoryHadoop-relatedprojectsWhoUsesHadoopGoalsofHDFSTheFileSystemNameNodeMetadataDataNodeBlockReplicaPlacementDataCorrectnessFSShellWebUIMap-reduceProgrammingParadigmHadoopMap/ReduceMapperReducerJobSetupInjectPointsJobTracker&TaskTrackerFIFO 先到先得,排队执行 FairScheduler(公平调度器) 它的目的是让所有的作业随着时间的推移,都能平均的获取等同的共享资源。 按资源池(pool)来组织作业,并把资源按配置分到这些资源池里 http://hadoop.apache.org/common/docs/r0.20.2/fair_scheduler.html CapacityScheduler(容量调度器) 支持多个queue,每个Job提交到一个queue里 支持内存调度,对于需要高内存的任务,调度到有足够内存的节点 http://hadoop.apache.org/common/docs/r0.20.2/capacity_scheduler.html JobSchedulerWebUIFailureJobShellWebUIResources