虚拟机集群部署hadoop.docx

使用虚拟机集群部署hadoop
Hadoop安装模式有3中：单机模式、为分布模式及全分布模式。为了以后学习，直接上全分布模式。
又鉴于我大东软个人笔记本的操蛋配置，本来想在本机装三个节点，可惜，装两个就已经卡的跟犊子似的了。所以，本次在虚拟机上装2个操作系统，模拟2个节点。
虚拟机安装包：VMware-player-6.0.3-1895310.1404875628.exe
安装的操作系统：ubuntu-14.04.1-desktop-i386.iso（linux）
jdk：jdk-6u16-linux-i586.bin
hadoop版本：hadoop-1.0.3.tar.gz
注意：之前是在公司安装的，但是过程中有许多需要联网下载的东西无法下载成功（东软集团Internet访问管理策略），所以，强烈建议回家在可以连接互联网的地方安装，省去许多麻烦，我安装的时候就重装了3次，悲催，但鉴于初学，就忍了。
Hadoop集群中每个节点的角色如下：
主机名：Ubuntu1角色：master、slavesjps结果：NameNode、DataNode、JobTracker、TaskTracker、SecondaryNameNode
主机名：Ubuntu2角色：slavesjps结果：DataNode、TaskTracker
主机名：本机角色：开发测试环境，安装JDK和eclipse即可，使用hadoop的jar包
1、在本机安装虚拟机：VMware-player-6.0.3-1895310.1404875628.exe，安装过程略。
2、打开VMWare，新建虚拟机，选择Ubuntu的iso镜像，输入自己想设定的名称，用户名、密码。然后默认安装就可以了。
3、同样方式安装第二个虚拟机。
4、安装VMWareTools。打开安装的虚拟机，点击VMWARE的Player菜单，选择管理，安装VMWareTools。（必须联网）
5、安装成功VMWareTools后，就可以在本机和VMWare之间切换并且直接拖拽拷贝文件了，然后将jdk上传至你建的用户根目录下。我建了一个目录tools，都放在这个目录了。
6、安装JDK.（安装Ubuntu后是图形界面,输入CTRL+ALT+T,能打开命令行界面）cdtools、chmodu+x*.bin、./jdk-6u16-linux-i586.bin安装即可。
7、配置jdk环境变量：cd~、vi.bashrc、在文件最后输入以下几行：
exportJAVA_HOME=/home/hongchq/tools/jdk_1.6.0_16

exportJRE_HOME=$JAVA_HOME/jre

exportCLASS_PATH=$JAVA_HOME/lib:$JRE_HOME/lib：$CLASSPATH

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

然后执行：source.bashrc使环境变量生效。测试：java-version。输出安装的jdk版本即安装成功。
8、将hadoop-1.0.3.tar.gz上传到tools目录下。解压tar-xvfhadoop-1.0.3.tar.gz.配置Hadoop的环境变量
exportHADOOP_HOME=/home/hongchq/tools/hadoop-1.0.3

exportPATH=$HADOOP_HOME/bin:$PATH

9、修改hadoop目录conf下的masters和slaves
masters中
#localhost
Ubuntu1
slaves中
#localhost
Ubuntu1
Ubuntu2
10、修改conf目录下的core-site.xml文件
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hongchq/tools/hadoop-1.0.3/tmp</value>
<description>Abaseforothertemporarydirectories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.11.128:9000</value>
<description>Thenameofthedefaultfilesystem.AURIwhoseschemeandauthoritydeterm