Hadoop集群配置步骤.doc

Hadoop集群配置步骤
规划拓扑
一台主服务器（masters）：运行NameNode，JobTracker；
三台从服务器（slaves）：运行DataNode，TaskTracker；

服务器环境准备
安装JDK1.6.0以上，配置JAVA_HOME环境变量；
安装配置SSH，使得主服务器通过SSH无用户名，无密码也可以登录到从服务器，具体过程如下：
下载安装SSH；
从服务器命令行执行
ssh-keygen-trsa-p''-f~/.ssh/id_rsa
cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
修改/etc/hosts，给每个服务器指定别名并将这个配置复制到每台服务器
创建hadoop用户，确保每台服务器相同
安装配置hadoop
用hadoop用户登录到主服务器并下载安装包hadoop-1.0.4.tar.gz
在主服务器执行tarxfvzhadoop-1.0.4.tar.gz
修改如下配置文件
/etc/profile
在该文件后添加hadoop安装路径，示例如下：
HADOOP_HOME=/home/hadoop/hadoop-1.0.4
exportPATH=$PATH:$HADOOP_HOME/bin
执行source/etc/profile使得环境变量生效
Hadoop-env.sh
配置JAVA_HOME
Core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop4.baihe.com/</value>
<description>Commonconfigure</description>
</property>
</configuration>
使用服务器别名指定主服务器URL。
Hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
<description>HDFSconfigure</description>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/HDFS/Namenode</value>
<description>HDFSconfigure</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/HDFS/Datanode</value>
<description>HDFSconfigure</description>
</property>
</configuration>
指定namenode和datanode对应的本地文件路径（可以是hadoop用户能够访问的任何本地目录）
Mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop4.baihe.com:8021</value>
<description>MapReduceconfigure</description>
</property>
</configuration>
指定JobTracker（主服务器位置），使用服务器别名标识
Masters
hadoop4.baihe.com
用服务器别名标识出主服务器位置
Slaves
hadoop2.baihe.com
hadoop3.baihe.com
hadoop5.baihe.com
用服务器别名标识出从服务器位置
向从服务器发布
在主服务器执行tar命令将，配置好的hadoop完整打包；
tarcfvzhadoop-1.0.4.tar.gzhadoop-1.0.4
[e-mail]:/home/hadoop/.
逐个执行2将完整hadoop分发到从服务器
SSH到每个从服务器，解压这个hadoop包
执行start-dfs.sh启动DHFS守候进程
在主服务器执行start-mapred.sh启动MapReduce守候程序或者执行start-all.sh