实验三_hdfs和mapreduce编程.pdf

昆明理工大学信息工程与自动化学院学生实验报告（2013—2014学年第二学期）课程名称：图形图像基础开课实验室：4442014年5月28日年级、专业、班计科111学号201110405101姓名王辉成绩实验项目名称HDFS和MapReduce编程指导教师李英娜教师评语教师签名：年月日一、【实验目的】1．理解云计算的基本理论知识；2．理解HDFS与MapReduce的基本作用3．掌握HDFS与MapReduce的关系；二、【实验要求】1．下载Hadoop和JDK；2．安装SSH；3．对Linux进行相应配置。三、【实验步骤与基础知识】HDFS与MapReduce的关系:1.HDFS在集群生实现了分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理；2.HDFS在MapReduce任务处理过程中提供了对文件操作和存储的支持；3.MapReduce在HDFS的基础上实现任务的分发、跟踪、执行等工作，并收集结果，实验步骤如下：1.安装Hadoop1)从http://hadoop.apache.org/common/releases.html下载Hadoop二进制安装包hadoop-0.20.0.tar.gz2)将hadoop-0.20.0.tar.gz上传到/usr/local目录3)在/usr/local目录，将hadoop-0.20.0.tar.gz解压4)为hadoop-0.20.0建一个软链接：ln-shadoop-0.20.0hadoop5)在/etc/profile文件中，增加如下两行：exportHADOOP_HOME=/usr/local/hadoopexportPATH=$HADOOP_HOME/bin:$PATH完成以上步骤后，Hadoop就安装好了。2.配置HDFS2.1.修改hadoop-env.sh所有机器做同样操作。hadoop-env.sh位于/usr/local/hadoop/conf目录下，需要在这个文件中设置环境变量JAVA_HOME，增加如下一行即可：exportJAVA_HOME=/usr/local/jre2.2.修改core-site.xml所有机器做同样操作。在hadoop-0.20.0.tar.gz安装包中，conf目录下的core-site.xml默认是空的，但src/core目录下有一个缺省的配置文件core-default.xml，所以只需要将它复制到conf目录下，并重命名成core-site.xml即可，下述操作都是基于此操作的。core-site.xml文件位于/usr/local/hadoop/conf目录下。2.2.1.hadoop.tmp.dir设置临时文件目录参数hadoop.tmp.dir，默认情况下master会将元数据等存在这个目录下，而slave会将所有上传的文件放在这个目录下，在这里数据目录统一为/usr/local/hadoop/data：<property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/data</value><description>Abaseforothertemporarydirectories.</description></property>注意事项：由于上传到Hadoop的所有文件都会被存放在hadoop.tmp.dir所指定的目录，所以要确保这个目录是足够大的。2.2.2.fs.default.namemaster用这个参数，提供基于http协议的状态上报界面，而slave通过这个地址连接master，设置如下：<property><name>fs.default.name</name><value>hdfs://Hadoop-A:54310</value><description>Thenameofthedefaultfilesystem.AURIwhoseschemeandauthoritydeterminetheFileSystemimplementation.Theuri'sschemedeterminestheconfigproperty(fs.SCHEME.impl)namingtheFileSystemimplementationclass.Theuri'sauthorityisusedtodeterminethehost,port,etc.forafilesystem.</description></property>2.3.修改masters这个文件存储备master节点的IP或机器名，建议使用机器名，每行一个机器名。主master会将元数据等备份到备master节点，文件位于conf目录下。这里，我们为masters文件增加如下一行