hadoop集群环境搭建.docx

虚拟集群环境搭建
安装虚拟机
直接傻瓜式安装即可，网上资料很多不再赘述。
在虚拟机上安装Linux系统
需要准备的软件：64位Linux系统镜像文件
打开虚拟机软件点击“创建新的虚拟机”，如下图：

选择“典型(推荐)”，然后点下一步，选择“安装程序光盘镜像文件”，然后选择系统镜像文件，点击下一步，如下图：

输入用户名密码，点击下一步，如图：

输入虚拟机名称和安装目录，点击下一步，如图：

一直下一步，最后点完成，如图：

待系统初始化完成后，数据用户名：root；初始化密码，登录系统。如图：

进入系统安装完成。
8、登陆后，创建hadoop用户：master2016。
搭建hadoop环境-ssh
需要准备的软件：Hadoop2.7.2、JDK1.7.0、ssh
检查ssh是否已经安装，命令“ssh-help”，hadoop集群基于ssh来管理远程机器的守护进程，如图：

配置ssh，执行命令“ssh-keygen-trsa”，如图：

进入.ssh目录并生成authorized_keys文件查看权限文件，命令：“catid_rsa.pub>>authorized_keys”
ssh验证，命令“sshmaster”，登录成功。
注：文件id_rsa的权限一定是600，否则会报错，authorized_keys权限644。

搭建hadoop环境-安装JDK
需要准备的软件：Hadoop2.7.2、JDK1.7.0、ssh
Hadoop是使用java开发的，所以要安装javaJDK，我们使用JDK1.7.0版本。
首先解压缩jdk到/home/master2016/，解压命令：tar-zxfjdk-7-linux-x64.tar.gz
配置环境变量，
exportJAVA_HOME=/home/master2016/jdk1.7.0/
exportPATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
配置完环境变量执行：source.profile，再执行下java–version,看到java版本信息，如下图：

Javajdk1.7.0版本安装成功。
搭建hadoop环境-安装hadoop
需要准备的软件：Hadoop2.7.2、JDK1.7.0、ssh
解压hadoop压缩包到目录/home/master2016/，解压命令：tar–zxfhadoop-2.7.2.tar.gz
配置环境变量
exportHADOOP_HOME=/home/master2016/hadoop-2.7.2
exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
执行命令：source.profile，查看版本：hadoopversion，如下图：

安装成功。
配置hadoop伪集群环境
修改主机名为：master，命令：vi/etc/HOSTNAME
重启机器，查看linux是否修改成功，命令hostname，如下图：

修改主机名和IP的映射关系（hosts），命令“vi/etc/hosts”
192.168.36.128master
修改hadoop-env.sh，将JAVA_HOME修改为正确的目录，命令“vi$HADOOP_HOME/etc/hadoop/hadoop-env.sh”
配置core-site.xml，命令“vi$HADOOP_HOME/etc/hadoop/core-site.xml”，增加如下内容：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/master2016/hadoop-2.7.2/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
</configuration>
配置hdfs-site.xml，命令“vi$HADOOP_HOME/etc/hadoop/hdfs-site.xml”，增加如下内容：
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.