hadoop安装笔记.pdf

Hadoop版本：hadoop-1.2.1-bin.tar
Jdk版本：jdk-6u30-linux-i586
需要的软件：VMWare9，ubuntu10.04

首先安装vmware9，然后在其中利用ubuntu的镜像安装3个虚拟机

在每个虚拟机中，执行下面操作
（1）创建hadoop用户组：sudoaddgrouphadoop
（2）创建hadoo用户：sudoadduser-ingrouphadoophadoop
（3）给hadoop用户增加权限：sudogedit/etc/sudoers
在rootALL=(ALL:ALL)ALL下添加hadoopALL=(ALL:ALL)ALL

重启切换到hadoop用户，不然hadoop桌面没有内容
(4)安装JDK，具体过程如下：
1.下载jdk
2.在/usr/local下创建一个java文件夹
3.将jdk文件拷贝到/usr/local/java中
4.切换到root
5.运行jdk-6u30-linux-i586.bin
6.这时候在java文件夹中多了一个jdk1.6.0_30文件
7.修改配置文件，在文件~/.bashrc最后添加
exportJAVA_HOME=/usr/local/java/jdk1.6.0_30
exportPATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
8.测试jdk是不是安装成功：$java,如果能正确的输出其版本就代表其安装成功
(5)修改本机的host文件
sudogedit/etc/hosts
在其中加入：
192.168.15.129master
192.168.15.130son-1
192.168.15.131son-2
(6)修改本机（master）和子节点(son-1...)机器名
sudogedit/etc/hostname
分别改成master,son-1,son-2
(7)为本机（master）和子节点安装ssh服务
sudoapt-getinstallopenssh-server
(8)先建立ssh无密码登陆环境
切换到hadoop用户
创建ssh-key,采用rsa的方式：ssh-keygen-trsa-P“”
(注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出
现的)
进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没
有authorized_keys文件的：
cd~/.ssh
catid_rsa.pub>>authorized_keys
(9)为本机master安装hadoop
1.将hadoop-6u30.tar.gz文件复制到/usr/local下
2.解压文件sudotar-zxfhadoop-6u30.tar.gzhadoop
3.将该hadoop文件夹的属主用户设为hadoop:
sudochown-Rhadoop:hadoophadoop
4.打开hadoop/conf/hadoop-env.sh文件
sudogedithadoop/conf/hadoop-env.sh
5.修改JAVA_HOME路径，这里的路径是
exportJAVA_HOME=/usr/local/java/jdk-XXX
6.打开conf/core-site.xml文件，编辑如下

7.打开conf/mapred-site.xml文件，编辑如下
8.打开conf/hdfs-site.xml,编辑如下：

（10）打开conf/masters:
sudogedithadoop/conf/masters
在其中添加master
(11)打开conf/slaves文件，添加作为slave的主机名，一行一个：
sudogedithadoop/conf/slaves
在其中添加：
son-1
son-2
(12)将master机器上的文件一一复制到datanode机器上（son-1,son-2）
都要复制
1.公钥的复制
先要在son-1和son-2hadoop目录下建立.ssh目录，不然无法复制
scp~/.ssh/id_rsa.pubhadoop!son-1:~/.ssh/
2.hosts文件的复制
scp/etc/hostshadoop@son-1;/etc/hosts
注意:这里可能会出现权限的问题，可以先将先将文件复制到/home/hadoop下面，
再到son-1和son-2机器上面用root用户将hosts文件写到/etc/hosts下
3.hadoop文件夹的复制
scp-r