hadoop实践部署过程.docx

一．建虚拟机
1.建三个虚拟机，装Linux系统，可装完一个复制两个系统（文件复制，或工作站“虚拟机-》克隆”）

2.保证三个虚拟机网络通畅，IP分别为：192.168.1.51/52/53
涉及到的命令：ifconfig、servicenetworkrestart、pingXXX
修改静态IP：ifconfigeth0192.168.1.xx

3.修改主机名，三个主机名分别为：gdfwdb01/02/03
修改方法：
a.更改/etc/sysconfig下的network文件，在提示符下输入vi/etc/sysconfig/network，
然后将HOSTNAME后面的值改为想要设置的主机名。
b.更改/etc下的hosts文件，在提示符下输入vi/etc/hosts，加入三个节点对应ip及主机名，保存退出；（i编辑，esc后:wq!保存退出，:q!不保存退出)；
所有节点均：配置hosts文件(目的：解析集群主机名及IP)

192.168.1.51gdfwdb01
192.168.1.52gdfwdb02
192.168.1.53gdfwdb03

c.重启，reboot

5.新建Hadoop用户
#useraddhadp
#passwdhadp(密码：hadoop123)

关防火墙
chkconfigiptablesoff关闭
chkconfigiptables--list查看

禁用selinux:
编辑/etc/selinux/config文件，设置“SELINUX=disabled”
二．装jdk
6.装jdk
上传jdk安装包，不同节点间复制，scpjdk-6u35-linux-x64.binhadp@gdfwdb03:/home/hadp
安装：hadp用户，
$chmodu+xjdk-6u35-linux-x64.bin
$./jdk-6u35-linux-x64.bin
装完后，配JAVA_HOME
$vi.bash_profile
加入：
exportJAVA_HOME=/home/hadp/jdk1.6.0_35
exportPATH=$JAVA_HOME/bin:$PATH
让配置生效，导入全局环境变量
$source.bash_profile

三．ssh免密码登录
7.ssh密钥对,保证节点间ssh链接免密钥接入，需在hadp用户底下执行
$ssh-keygen-trsa（之后默认回车）
$cd.ssh
$ls
$cpid_rsa.pubauthorized_keys(意思：将生成的公钥内容复制到authorized_keys，注意文件名不能错)
$catauthorized_keys(查看文件内容)
把三个节点authorized_keys内容全部拿出来组合成一个大文件，覆盖掉各个节点的authorized_keys
这样彼此间就免密码ssh连入
$scphadp@gdfwdb02:~/.ssh/id_rsa.pub./2_rsa.pub（将2节点的公钥复制过来，命名为2_rsa.pub）
$cat2_rsa.pub>>authorized_keys（将2的内容加到authorized_keys后面）
重复。。。
删除文件rm-f文件名
删除文件夹rm-rf目录名

完成后，在节点1输入命令$sshgdfwdb02，第一次询问输入yes，成功连接到节点2，
输入命令$exit，退回到节点1，再输一次连接，本次不再询问，成功！
三个节点之间重复执行一下连接工作，包括本身，自己连自己

切换到root用户，修改一个ssh参数，防止后期启动Hadoop报错：
启动hadoop报192.168.1.51:Address192.168.1.51mapstogdfwdb01,butthisdoesnotmapbacktotheaddress-POSSIBLEBREAK-INATTEMPT!

$vi/etc/ssh/ssh_config
GSSAPIAuthenticationyse
----改为：----
GSSAPIAuthenticationno
据说GSSAPIAuthentication的作用：是否允许使用基于GSSAPI的用户认证。
是否在用户退出登录后自动销毁用户凭证缓存。默认值是”yes”
四．三台服务器时间同步
因为节点与主节点之间有心跳机制监测服务器是否存活，因此彼此之间时间要求一致，需进行服务器时间同步工作，利用linux自带服务ntp(NetworkTimeProtocol,网络时间协议，用来使网络中的各个计算机时间同步的一种协议)服务。我们将master作为时间服务器。
Root用户操作一下步骤：
查询是否安装ntp，若没有安装的话使用yum进行安装。
检查命令：r