linux安装 hadoop配置.docx

多机环境下的hadoop平台搭建过程说明
目录
TOCHYPERLINK\l"_Toc435695564"\h一、引言 1
HYPERLINK\l"_Toc435695565"\h二、部署过程说明 2
HYPERLINK\l"_Toc435695566"\h2.1、部署阶段 2
HYPERLINK\l"_Toc435695567"\h2.1.1、安装ubuntu-14.04.2-desktop-amd64 3
HYPERLINK\l"_Toc435695568"\h2.1.2、安装jdk第一步：在usr下面新建一个文件夹Java,然后将jdk复制过来 13
HYPERLINK\l"_Toc435695569"\h2.1.3、安装hadoop 14
HYPERLINK\l"_Toc435695570"\h2.1.4、配置JAVA环境变量 15
HYPERLINK\l"_Toc435695571"\h2.1.5、创建ssh-key 16
HYPERLINK\l"_Toc435695572"\h2.2、多机环境下的配置阶段 18
HYPERLINK\l"_Toc435695573"\h2.2.1、/etc/hosts文件的配置修改 18
HYPERLINK\l"_Toc435695574"\h2.2.2、多机的ssh-key配置 19
HYPERLINK\l"_Toc435695575"\h2.2.3、JAVA_HOME环境变量的配置 19
HYPERLINK\l"_Toc435695576"\h2.2.4、master和slaves文件的配置修改 20
HYPERLINK\l"_Toc435695577"\h2.2.5、core-site、mapred-site和hdfs-site文件的配置修改 20
HYPERLINK\l"_Toc435695578"\h2.2.6、复制master的配置文件到各个slaves 21
HYPERLINK\l"_Toc435695579"\h2.3、启动运行阶段 22
HYPERLINK\l"_Toc435695580"\h2.3.1、格式化namenode(首次运行必需) 22
HYPERLINK\l"_Toc435695581"\h2.3.2、启动hadoop 22
HYPERLINK\l"_Toc435695582"\h三、参考资源 24


一、引言
多机环境下的hadoop平台搭建是通过在每台机器上部署hadoop来构成一个hadoop的集群运行环境。
本文的环境搭建是在每台机器上安装双系统（windows和linux）或者单linux系统。本文hadoop部署之前下载了如下的程序：ubuntu-14.04.2-desktop-amd64、hadoop2.7.0、jdk1.7.0forlinux。这些程序均可以从网上下载，其中jdk1.7.0forlinux（此处下载的是64位的）是直接从官网上下载。
本文的环境搭建选择了三台机器，其中一台机器要作为master,而另外两台机器要作为slaves。
二、部署过程说明
参考网上相关资源，本文所采取的部署过程分为三个阶段：单机部署阶段、多机环境下的配置阶段、和启动运行阶段。单机部署阶段主要是在每台机器上安装和配置unbuntu、JDK和hadoop程序；第二阶段主要是进一步配置每台机器，以构成hadoop集群环境；第三个阶段主要是启动hadoop。
各个阶段的详细操作步骤如下。
2.1、部署阶段
单机部署阶段主要是对集群环境中的每台机器，进行ubuntu、JDK和hadoop的安装与配置。该阶段要做的工作与单机版的hadoop平台搭建类似。
2.1.1、安装ubuntu-14.04.2-desktop-amd64
安装工具：easyBCD，DAEMONtools，（安装最好选择默认路径）ubuntu-14.04.2-desktop-amd64.iso建议将iso文件移动到c盘根目录。
安装过程(在win7下安装ubuntu，即双系统,如果你想安装单linux系统，可以直接跳到,2.1.1.2.7步）：
磁盘预留可用空间
计算机->右键->管理

右键单击选择要压缩的磁盘（本例选择D盘，最好选择最后的磁盘），右键选择“压缩卷”

在输入压缩空间量（MB）里填写要压缩出的空间量，如果要压缩出50G，填写50G*1024MB

压缩后会发现多出一块未分区磁盘（绿色分区，这个只是样例），出现这样就可以了，我们的linux将安装到这个绿色的空闲分区内，这样我们可以在windows下删除linux系统。

安装完成的效果图如下：