Hadoop Zookeeper Hbase安装配置使用.docx

Hadoop+zookeeper+hbase的安装配置使用
一、准备
1.搭建hadoop集群需要1台namenode和n台datanode，本文以1台namenode和2台datanode为例，主机名及地址分别为：
主机名 ip地址
master 192.168.192.222（namenode）#注意：主机名称不要取localhost这个名
s1 192.168.192.223（datanode）
s2 192.168.192.224（datanode）
2.创建一个专门用来运行hadoop的用户账号，比如增加一个名为test、密码为123456的用户，并且hadoop集群中的所有机器都是用同一个用户名，因为Hadoop要求所有机器上hadoop的部署目录结构要相同并且有一个相同的用户名的帐户
3.确保安装并配置好1.6版本的jdk
二、Hadoop的安装与配置
1.Hadoop的安装
1）首先去hadoop官网下载hadoop安装包，比如hadoop-0.20.205.0.tar.gz
2）安装hadoop：
[test@master~]$tar-zxvfhadoop-0.20.205.0.tar.gz（创建专门用来运行hadoop的账号目的就在于要将hadoop安装到该用户的目录下）
切换到root权限，将Hadoop文件的拥有者改为hadoop用户和组
[test@master~]$su
[root@mastertest]#chown-Rtest:testhadoop-x.y.z
将hadoop的安装路径添加到/etc/profile中：
exportHADOOP_HOME=/home/test/hadoop-x.y.z
exportPATH=$HADOOP_HOME/bin:$PATH
为了让/etc/profile生效，执行[root@master~]#source/etc/profile
2.hadoop的配置
1）配置/etc/hosts文件（master，s1，s2都要配置）
[test@master~]$su
[root@master~]#vim/etc/profile
加入三台机器的ip地址机器名：（如果已经有了的就不用再加了）
192.168.192.222 master
192.168.192.223 s1
192.168.192.224 s2
2）ssh设置及关闭防火墙
（fedora装好后默认启动sshd服务，如果不确定的话可以查一下[root@localhosttest]#servicesshdstatus，如果没启动的话，先启动[root@mastertest]#servicesshdstart）
建立ssh无密码登陆（在namenode上进行）
[test@master~]$ssh-keygen
Generatingpublic/privatersakeypair.
Enterfileinwhichtosavethekey(/home/test/.ssh/id_rsa):.ssh/id_rsa
Enterpassphrase(emptyfornopassphrase): #这里是提示输入口令，也可以无口令，直接回车即可。
Entersamepassphraseagain:
……
执行完之后，会在~/.ssh/生成两个文件：id_rsa和id_rsa.pub,这两个是成对出现的，一个是私钥一个是公钥。
把公钥id_rsa.pub追加到datanode上的authorized_keys
[test@master~]$scpid_rsa.pub192.168.192.223:/home/test/.ssh
在namenode上通过ssh登陆到datanode上
[test@master~]$ssh192.168.192.223
输入test账户在192.168.192.223机器上的密码，回车
这时就登陆到了192.168.192.223这台机器上了，通过命令提示符的改变可以看到，[test@s1~]$
然后进行追加
[test@s1~]$catid_rsa.pub>>~/.ssh/authorized_keys
修改datenode上.ssh和authorized_keys的权限
[test@s1~]$chmod755~/.ssh
[test@s1~]$chmod755~/.ssh/authorized_keys
退出登陆，回到本机
[test@s1~]$exit
[test@master~]$
修改namenode上.ssh和authorized_keys的权限
[test@master~]$chmod755~/.ssh
[te