部署hadoop集群.docx

Hadoop集群部署手册
环境准备：
节点数量：至少3台节点
DistributorID:CentOS
Description:CentOSrelease6.5(Final)
Release:6.5
Codename:Fina
Hadoop版本：2.6.0
Hbase版本：1.2.0
JDK版本：jdk1.8.0_66
编辑节点hosts配置：
1.vi/etc/hosts（3节点都修改）
192.168.1.101ct1
192.168.1.102ct2
192.168.1.103ct3
关闭防火墙：
1、关闭firewall：
systemctlstopfirewalld.service#停止firewall
systemctldisablefirewalld.service#禁止firewall开机启动
firewall-cmd--state#查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
查看rpm-qa|grepjava：
显示如下信息：
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
卸载：
rpm-e--nodepsjava-1.4.2-gcj-compat-1.4.2.0-40jpp.115
rpm-e--nodepsjava-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
2.3台机器创建hadoop用户：
hadoop初始密码:123
3.安装JDK(3台都安装)：
[root@h201hadoop]#cpjdk-7u25-linux-i586.tar.gz/usr/
[root@h201usr]#tar-zxvfjdk-7u25-linux-i586.tar.gz
[root@h201~]#vi/etc/profile
exportJAVA_HOME=/usr/jdk1.8.0_66
exportJAVA_BIN=/usr/jdk1.8.0_66/bin
exportPATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportJAVA_HOMEJAVA_BINPATHCLASSPATH
[root@h201~]#reboot
4.安装ssh证书
[hadoop@h201~]$ssh-keygen-trsa
[hadoop@h202~]$ssh-keygen-trsa
[hadoop@h203~]$ssh-keygen-trsa
[hadoop@h201~]$ssh-copy-id-i/home/hadoop/.ssh/id_rsa.pubct1
[hadoop@h201~]$ssh-copy-id-i/home/hadoop/.ssh/id_rsa.pubct2
[hadoop@h201~]$ssh-copy-id-i/home/hadoop/.ssh/id_rsa.pubct3

[hadoop@h202~]$ssh-copy-id-i/home/hadoop/.ssh/id_rsa.pubct1
[hadoop@h202~]$ssh-copy-id-i/home/hadoop/.ssh/id_rsa.pubct2
[hadoop@h202~]$ssh-copy-id-i/home/hadoop/.ssh/id_rsa.pubct3

[hadoop@h203~]$ssh-copy-id-i/home/hadoop/.ssh/id_rsa.pubct1
[hadoop@h203~]$ssh-copy-id-i/home/hadoop/.ssh/id_rsa.pubct2
[hadoop@h203~]$ssh-copy-id-i/home/hadoop/.ssh/id_rsa.pubct3
#############################################################
SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys
(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，
#RSAAuthenticationyes
#PubkeyAuthenticationyes
(2)输入命令，ssh-keygen-trsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设