Linux下hadoop安装与配置.doc

Linux下hadoop安装与配置
试验环境
两台虚拟机：CentOS—5.8-i386
真实机：CentOS—5.8-x64
Hadoop-1.0.3.tar
jdk-7-linux-i586.tarjdk-6u29-linux-x64
安装
1、配置hosts与ssh
首先我们拿真实机做master，IP：192.168.1.1以下简称master
两个虚拟机做slave，slave1IP：192.168.1.2slave2IP：192.168.1.3以下简称slave1、slave2
注：IP根据自己实际情况修改
、分别在三台服务上修改/etc/hosts文件，在原文件中添加
192.168.1.1 master
192.168.1.2 slave1
192.168.1.3 slave2
②、配置ssh无密码登陆
分别在三台服务器上添加hadoop用户（用户名可随意），并设置密码
在master用hadoop登陆，在/home/hadoop/下，创建.ssh目录
$mkdir.ssh
$chmod755./.ssh(我也不知道为什么，可能ssh无密码登陆规定)
上面的操作需要在三台服务器上分别执行，之后在master上
$cd.ssh
$ssh-keygen(创建公钥和私钥)
执行命令时，一路回车就可以。执行完成后会在.ssh目录下生成两个文件
id_rsa（私钥）
id_rsa.pub（公钥）
执行$cpid_rsa.pub./authorized_keys
$scpauthorized_keysslave1:/home/had/.ssh/
$scpauthorized_keysslave2:/home/had/.ssh/
测试ssh登陆是否需要密码
$sshslave1(首次登陆可能会需要密码)
③、安装JDK（三台服务器都需要安装）
#tarjdk-7-linux-i586.tar
修改环境变量文件
Vi/etc/profile在文件末尾添加
JAVA_HOME=/navi/jdk1.7.0/（JDK安装路径）
JRE_HOME=/navi/jdk1.7.0/jre
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
exportJAVA_HOMEJRE_HOMECLASSPATHPATH
保存并重新登陆服务器测试JDK是否安装成功
#java–verbose(如果能出现一堆表示安装成功)
注：因为我master为64位系统，所以JDK安装文件不一样
④、安装配置Hadoop（三台服务器都需要配置）
Hadoop需要解压到hadoop家目录下。
$tarHadoop-1.0.3.ta
$cdhadoop-1.0.3
…./hadoop-1.0.3/conf为hadoop主配置文件
首先配置hadoop-env.sh
在文件中添加exportJAVA_HOME=/navi/jdk1.7.0（java安装目录）
然后配置core-site.xml
在原文件<configuration>和</configuration>中间添加
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
配置hdfs-site.xml
在原文件<configuration>和</configuration>中间添加
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
这个3代表三节点
配置mapred-site.xml
在原文件<configuration>和</configuration>中间添加
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
配置masters文件
将原文件中的localhost删除，换成master（这个是主机名）
配置slaves文件
将原文件中的localhost删除，添加
master
slave1
slave2
最后在三台服务器的/etc/profile文件末尾添加
exportHADOOP_HOME=/home/hadoop/hadoop-1.0.3（hadoop安装目录）
exportPATH=$HADOOP_HOME/bin:$PATH

到此为止所有配置结束

首次启用hadoop需要格式化HDFS文件系统
$hadoopnameno