Hadoop环境搭建——集群篇.doc

流程：
配置阶段：
配置一系列文件
在所有slave节点上拷贝master和JobTracker的公钥
在JobTracker节点上拷贝master的公钥

运行阶段：
启动hadoop
跑wordcount

集群搭建准备：
至少两台已完成单节点搭建的机器
（此例为两台，IP分别是192.168.1.10与192.168.1.11，其中10为master）

配置阶段：
1、配置一系列文件（所有节点上）
1、配置etc下的hosts文件
sudogedit/etc/hosts
（注：打开后将里面的内容全部删除，不删除的话启动时会出现所有slave启动正常，但是master上的DataNode为0，导致系统不能正常运转的情况，全部删除以后添加所有节点的IP和标识符，格式如下
192.168.1.10master
192.168.1.11slave
标识符可以随便写，主要是起到一个映射作用）

2、进入hadoop目录下，配置conf下的masters文件
cd/usr/local/hadoop
sudogeditconf/masters
（打开后将里面内容清空，然后添加“master”或者master的IP“192.168.1.10”，此处即是hosts中配置的映射，填master或者直接填IP都是一样的）

3、配置conf下的slaves文件
sudogeditconf/slaves
（打开后将里面内容清空，然后添加“slave”或者slave的IP“192.168.1.11”，原因同上）

4、配置conf下的core-site.xml文件
sudogeditconf/core-site.xml
（因为已完成单节点配置，因此只需要修改就行了。打开后将第一个<property>标签中的localhost改为“master”或者master的IP，如下
Xml代码
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
第二个<property>标签，即包含<name>dfs.replication</name>一行的那个，其中的“<value>”表示文件上传到dfs上时的备份个数，此数值不能大于slave即datanode的个数）

5、配置conf下的hdfs-site.xml文件（此配置在slave节点上可有可无）
sudogeditconf/hdfs-site.xml
（打开后在空的<configuration></configuration>中添加如下配置
Xml代码
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hdfs/name</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hdfs/data</value>
</property>

6、配置conf下的mapred-site.xml文件
sudogeditconf/mapred-site.xml
（打开后将<value>标签里的localhost改为JobTracker的IP，因为本例中JobTracker也是master本身，所以将localhost改为“master”或master的IP）

2、在所有slave节点上拷贝master和JobTracker的公钥
1、拷贝公钥
scpHYPERLINK"mailto:hadoop@master:/home/hadoop/.ssh/id_rsa.pub"hadoop@master:/home/hadoop/.ssh/id_rsa.pub/home/hadoop/.ssh/master_rsa.pub
scpHYPERLINK"mailto:hadoop@master:/home/hadoop/.ssh/id_rsa.pub"hadoop@master:/home/hadoop/.ssh/id_rsa.pub/home/haddop/.ssh/jobtracker_rsa.pub
(注：因为本例中master和JobTracker是同一台机器，所以相当于在master上拷了两次公钥）

2、将拷贝的公钥添加到信任列表
cat/home/hadoop/.ssh/master_rsa.pub>>/home/hadoop/.ssh/authorized_keys
cat/