搭建Hadoop Hbase集群.docx

搭建Hadoop+Hbase集群平台
软件工程研究所2014
一、环境及目标：
-系统：Ubuntu12.10
-Hadoop版本：1.0.4
-Hbase版本：0.94.8(hindexsecondaryindex)
-节点配置(完全分布式集群) 静态IP
Master(jobtracker)192.168.0.200namenodeSlave(tasktracker/datanode)192.168.0.201Datanode1Slave(tasktracker/datanode)192.168.0.202Datanode2-用户:hadoop

1.1创建hadoop用户组;
$sudoaddgrouphadoop记下这里为hadoop用户设置的密码，后面使用hadoop用户登录时需要用到。
1.2.创建hadoop用户;
$sudoadduser-ingrouphadoophadoop
1.3.给hadoop用户添加权限，打开/etc/sudoers文件;
$sudogedit/etc/sudoers
1.4.给hadoop用户赋予root用户同样的权限。
在rootALL=(ALL:ALL)ALL下添加如下内容：
hadoopALL=(ALL:ALL)ALL

二、在Ubuntu下安装JDK
2.1配置环境变量
$sudogedit/etc/profile
在文件的末尾加上如下内容，保存并关闭文件
#forjava
exportJAVA_HOME=/usr/lib/jvm/jdk1.6.0_45
exportJRE_HOME=${JAVA_HOME}/jre
exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
exportPATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
使设置生效：到此部JDK的配置就都完成了
$source/etc/profile
为保证正确性，进行简单的测试
$java-version
2.2修改默认JDK
sudoupdate-alternatives--install/usr/bin/javajava/usr/lib/jvm/jdk1.6.0_45/bin/java300
sudoupdate-alternatives--install/usr/bin/javacjavac/usr/lib/jvm/jdk1.6.0_45/bin/javac300
sudoupdate-alternatives--install/usr/bin/jarjar/usr/lib/jvm/jdk1.6.0_45/bin/jar300
以下两句可选（最好执行）：
sudoupdate-alternatives--configjava
sudoupdate-alternatives--configjavac

2.3修改机器名
每当ubuntu安装成功时机器名都默认为：ubuntu，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。机器名由/etc/hostname文件决定。
1.打开/etc/hostname文件;
$sudogedit/etc/hostname
2.将/etc/hostname文件中的ubuntu改为对应机器，如主节点中，修改为"namenode"。重启生效。
3.修改/etc/hosts文件
$sudogedit/etc/hosts
并且将每台机器的IP设置为固定IP：

三、安装ssh服务
ubuntu一般只是默认安装了ssh-agent,可以用如下命令查看：
$sudops-ef|grepssh
如果只有ssh-agent就需要安装openssh-server了。
$sudoapt-getinstallsshopenssh-server

3.1建立ssh无密码登录本机
首先要转换成hadoop用户，执行以下命令：
$sudosu-hadoop

ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。
1.创建ssh-key，，这里我们采用rsa方式;
$ssh-keygen-trsa-P""
注意：ssh-kengen是用连字符连着的，千万不要分开。
（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）
2.创建授权文件authorized_keys
进入~/.ssh/目录下，发现开始是没有authorized_keys文件的，可以使用以下两种方法：
(1)将id_rsa.pub追加到authorized_keys授权文件中;
$cd~/.ssh
$catid_rsa.pub>>authorized_keys