Hadoop zookeeper hbase_cluster 配置.docx

Hadoop+zookeeper+hbasecluster配置相关
环境准备
操作系统：CentOS5.5
部署：VMWare
Cluster架构：(Hadoop1.0.4+Zookeeper3.4.5+Hbase0.94.5)
HostnameIPRolesMaster192.168.1.125Namenode,Jobtrack,Datanode,Tasktrack,Hmaster,Zookeeper,HRegionserverSlave1192.168.1.126Datanode,Tasktrack,Zookeeper,HRegionserverSlave2192.168.1.109Datanode,Tasktrack,Zookeeper,HRegi
onserverJava安装：
安装JDK1.7.
SSH配置：
需配置为master与slave之间无密码登陆模式。首先，在master上执行：[root@master~]#ssh-keygen-tdsa
然后一直按回车完成后，在home跟目录下会产生隐藏文件夹.ssh,接着把此密钥加到slave上实现无密码登陆。
[root@master~]#scp~/.ssh/id_dsa.pubroot@slave1:/home/
[root@master~]#sshroot@slave1
输入密码登陆后进入slave1，
[root@slave1~]#cat/home/id_dsa.pub>>~/.ssh/authorized_keys
验证此时推出再从master登陆到slave1不再需要密码，此操作需在slave2上同时操作。
配置网络hosts文件：
需要配置hosts文件使得相互可以通过hostname访问，编辑/etc/hosts文件如下在每台集群中的机器下：
192.168.1.125 master
192.168.1.126 slave1
192.168.1.109 slave2
安装路径：
为方便管理，所有安装包都放在/opt下，dfs文件系统则放在/data下，而且所有node的目录结构相同。
安装配置HADOOP及相关管理
下载并解压缩hadoop1.0.4安装包并拷到/opt目录下。其中在conf子目录下，需要配置的文件如下：
配置环境变量/etc/profile,添加
exportJAVA_HOME=/usr/java/jdk
exportCLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
exportHADOOP_HOME=/opt/hadoop
exportPATH=$PATH:$HADOOP_HOME/bin
/opt/hadoop/conf/hadoop-env.sh中添加
exportJAVA_HOME=/usr/java/jdk
/opt/hadoop/conf/core-site.xml中配置
[root@master~]#more/opt/hadoop/conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-${user.name}</value>
</property>
</configuration>
/opt/hadoop/conf/hdfs-site.xml中配置
[root@master~]#more/opt/hadoop/conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value> ------数据节点数
</property>
<property>
<name>dfs.name.dir</name>
<value>/data/1/dfs/nn</value>------Namenode目录
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/1/dfs.dn,/data/2/dfs/dn</value>------Datanode目录
<description></description>
</property>
</configuratio