Hadoop学习笔记二 安装部署.doc

HYPERLINK"http://www.cnblogs.com/wayne1017/archive/2007/03/20/678724.html"Hadoop学习笔记二安装部署
本文主要是以安装和使用HYPERLINK"http://ftp.wayne.edu/apache/lucene/hadoop/"\o"hadoop-0.12.0"hadoop-0.12.0为例，指出在部署Hadoop的时候容易遇到的问题以及如何解决。
硬件环境共有3台机器，均使用的FC5系统，Java使用的是jdk1.6.0。IP配置如下：dbrg-1：202.197.18.72dbrg-2：202.197.18.73dbrg-3：202.197.18.74
这里有一点需要强调的就是，务必要确保每台机器的主机名和IP地址之间能正确解析。
一个很简单的测试办法就是ping一下主机名，比如在dbrg-1上pingdbrg-2，如果能ping通就OK！若不能正确解析，可以修改/etc/hosts文件，如果该台机器作Namenode用，则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名；如果该台机器作Datanode用，则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。
以本文为例，dbrg-1中的/etc/hosts文件看起来就应该是这样的：127.0.0.0localhostlocalhost202.197.18.72dbrg-1dbrg-1202.197.18.73dbrg-2dbrg-2202.197.18.74dbrg-3dbrg-3
dbrg-2中的/etc/hosts文件看起来就应该是这样的：127.0.0.0localhostlocalhost202.197.18.72dbrg-1dbrg-1202.197.18.73dbrg-2dbrg-2
在上一篇学习笔记中提到过，对于Hadoop来说，在HDFS看来，节点分为Namenode和Datanode，其中Namenode只有一个，Datanode可以是很多；在MapReduce看来，节点又分为Jobtracker和Tasktracker，其中Jobtracker只有一个，Tasktracker可以是很多。我是将namenode和jobtracker部署在dbrg-1上，dbrg-2,dbrg-3作为datanode和tasktracker。当然你也可以将namenode，datanode，jobtracker，tasktracker全部部署在一台机器上
目录结构由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。我的三台机器上是这样的：都有一个dbrg的帐户，主目录是/home/dbrgHadoop部署目录结构如下：/home/dbrg/HadoopInstall，所有的hadoop版本放在这个目录中。将hadoop0.12.0压缩包解压至HadoopInstall中，为了方便以后升级，建议建立一个链接指向要使用的hadoop版本，不妨设为hadoop[dbrg@dbrg-1:HadoopInstall]$ln-shadoop0.12.0hadoop这样一来，所有的配置文件都在/hadoop/conf/目录中，所有执行程序都在/hadoop/bin目录中。但是由于上述目录中hadoop的配置文件和hadoop的安装目录是放在一起的，这样一旦日后升级hadoop版本的时候所有的配置文件都会被覆盖，因此建议将配置文件与安装目录分离，一种比较好的方法就是建立一个存放配置文件的目录，/home/dbrg/HadoopInstall/hadoop-config/，然后将/hadoop/conf/目录中的hadoop_site.xml，slaves，hadoop_env.sh三个文件拷贝到hadoop-config/目录中(这个问题很奇怪，在官网上的HYPERLINK"http://wiki.apache.org/lucene-hadoop/GettingStartedWithHadoop"\o"GettingStartedWithHadoop"GettingStartedWithHadoop中说是只需要拷贝这个三个文件到自己创建的目录就可以了，但我在实际配置的时候发现还必须把masters这个文件也拷贝到hadoop-conf/目录中才行，不然启动Hadoop的时候就会报错说找不到masters这个文件)，并指定环境变量$HADOOP_CONF_DIR指向该目录。环境变量在/home/dbrg/.bashrc和/etc/profile中设定。综上所述，为了方便以后升级版本，我们需要做到配