hadoop集群搭建配置.doc

hadoop安装配置(2012-6-9)
分类：分布式
hadoop安装配置
系统环境
redhatenterprise6
所需软件
hadoop-0.20.2.tar.gz
jdk-6u21-linux-x64.bin

部署环境：
namenode:192.168.10.20(hadoop1)
datanode:192.168.10.21(hadoop2)
192.168.10.22(hadoop3)
192.168.10.23(hadoop4)
一、安装
1、在namenode:(在datanode上操作和以下相同)
[hadoop@hadoop1~]#vi/etc/hosts
192.168.127.146hadoop1
192.168.127.145hadoop2
192.168.127.147hadoop3
192.168.127.148hadoop4

2、用root登陆,建立hadoop用户
[hadoop@hadoop1~]#useraddhadoop
[hadoop@hadoop1~]#passwdhadoop
输入******做为密码

3、su-hadoop#进入hadoop用户目录
[hadoop@hadoop1~]#su-hadoop
[hadoop@hadoop1~]$ssh-keygen-trsa#建立ssh目录,敲回车到底
[hadoop@hadoop1~]$cd.ssh/
[[e-mail]]$lltotal20
-rw-------1hadoophadoop1675Sep2316:19id_rsa
-rw-r--r--1hadoophadoop403Sep2316:19id_rsa.pub
-rw-r--r--1hadoophadoop3136Sep2415:23known_hosts
[[e-mail]]$scp-rid_rsa.pubhadoop@hadoop2:/home/hadoop/.ssh/
[[e-mail]]$sshhadoop2
[[e-mail]]$catid_rsa.pub>>authorized_keys
[[e-mail]]$chmod644authorized_keys
其它datanode机器操作一样

4、jdk-6u21-linux-x64.bin安装
下载JDK（下面给出一个下载地址）：
HYPERLINK"http://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586-rpm.bin"\t"_blank"http://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586-rpm.bin
看有的资料上说有些Linux自带的有jdk1.4；如果自带的有jdk1.4的话首先要把jdk1.4卸载掉。具体做法：
输入命令：
#rpm-qa|grepgcj
如果输出没有内容，说明没有jdk1.4，如果输出有内容，要把搜索到的文件卸载掉，命令为：
#rpm-e--nodeps[上步操作输出的文件]

安装jdk
将下载下来的文件上传到Linux中的一个目录中，如：/home/software
进入/home/software：
#cd/home/software
修改jdk1.6的使用权限：
#chmod+xjdk-6u31-linux-i586-rpm.bin
解压并安装：命令：
#./jdk-6u31-linux-i586-rpm.bin(默认安装在/usr/java中)
安装过程中间会有一个
PressEntertocontinus.....
按照提示按下回车键过一会儿就会输出Done.提示安装成功

******************************
环境变量配置：打开文件/etc/profile#vi/etc/profile在该profile文件中最下面添加：JAVA_HOME=/usr/java/jdk1.6.0_31
JRE_HOME=/usr/java/jdk1.6.0_31/jrePATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binCLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib(注意：前面的.:)exportJAVA_HOMEJRE_HOMEPATHCLASSPATH添加完毕保存退出source/etc/profilejava-version显示javav