hadoop集群配置范例及问题总结.doc

HADOOP-0.20.203.003.0分布式集群配置
硬件环境
虚拟机VMWareWorkstation
两台机器均安装ubuntu11，采用桥接模式，需要两个物理ip地址，下面用192.168.1.100和192.168.1.101代替，NAT模式无法实现ubuntu内ping通主机
javajdk1.6.0_31
namenode：192.168.1.100namenode
datanode：192.168.1.101datanode
注意：三台机器dns和默认网关必须一致。登陆密码一致最好。而且务必三台机器互相ping通主机，即主机名和ip解析正确。若ping不通，修改/etc/hosts文件，使用sudovi/etc/hosts命令，设置如下（namenode）：
namenode
datanode
Datanode（datanode）的设置为：
192.168.1.100namenode
192.168.1.101datanode
本集群将namenode和jobtracker设置成一台机器即namenode。

在Hadoop中，主机名不要包含下划线“_”，但可以有横线“-”。否则启动hadoop时报错：ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode:java.io.IOException:IncompleteHDFSURI,nohost:hdfs://namenode:9000IncompleteHDFSURI
使用hostname命令查看主机名，修改主机名：
主机名存放在/etc/hostname文件中，编辑hostname文件，在文件中输入新的主机名并保存该文件即可。注销重新登录。

本集群在Root用户下安装
配置ssh
安装ssh：sudoapt-getinstallopenssh-serveropenssh-client，若以安装，继续以下步骤
开启命令：servicesshrestart。必须配置SSH使用无密码公钥来进行免密码登陆各个节点。本集群设置如下：
在namenode节点上根目录下执行：
[root@namenoderoot]$ssh-keygen–trsa
一路回车，遇到y/n选择y。即在默认目录下/root/.ssh/生成
id_rsa和id_rsa.pub2个文件，第一个为私钥，第二个为公钥。
[root@namenoderoot]$cd.ssh
进入.ssh目录下，将id_rsa.pub复制给authorized_keys文件,并给予权限。
[root@namenoderoot]$cpid_rsa.pubauthorized_keys
[root@namenoderoot]$chmod644authorized_keys
测试sshlocalhost和sshnamenode,若成功，则可免密码登陆，退出命令exit。注意务必要exit，否则多层嵌套，会晕。
在datanode上根目录下建立.ssh文件夹并给予权限
[root@datanoderoot]$mkdir.ssh
[root@datanoderoot]$chmod755.ssh
[root@datanoderoot]$cd.ssh
然后将namenode中的公钥远程复制给datanode，需要密码（yes，密码）
[[e-mail]]$scpauthorized_keysHYPERLINK"mailto:root@namenode:/root/.ssh"root@namenode:/root/.ssh
并且进入datanode给予权限：
[[e-mail]]$chmod644authorized_keys
下面可以通过SSH命令试试是否可以无密码登陆。最好先重新启动下命令：
[root@namenoderoot]$servicesshdrestart
[root@namenoderoot]$sshdatanode
如果可以无密码登陆，即成功！

各datanode免密码登陆namenode
将各个datanode上的id_rsa.pub追加到namenode的authorized_keys
在所有datanode上依次执行如下命令:
scpid_rsa.pubnamenode:/root/.ssh/datanodeip地址.id_rsa.pub
sshnamenode
如果可以无密码登陆，即成功！exit退出。

Ssh主机名时，错误：Agentadmittedfailuretosignusingthekey.解決办法：
应用ssh-add指令將私钥加进来
ssh-add.ssh/id_rsa

出现sshlocalhos