windows下搭建hadoop开发环境(Eclipse).pdf

注：hadoop是java编写的，可以通过java直接编译出hadoop包。因此，操作系统影响
不大，只是需要剥去linux这个外壳。

材料：
1.JDK版本"1.7.0_01"
2.Cygwin——在线安装
3.EclipseSDK版本3.3.2
4.Hadoop版本hadoop-0.20.2
5.windows7
本教程适合以上版本，特别是hadoop版本和Eclipse版本。如果换别的搭配，不一定成
功。提示：hadoop0.20.2版本下的Eclipse插件只适合3.3.2的eclipse，Eclispe版本高不
能运行。另外，hadoop0.20.203版本在和sygwin搭配上有bug，不能启动jodtracker。
实施：
1.安装JDK

详细步骤略去。要注意的是：jdk的安装
1.下载cygwin的setup.exe进行在线安装，setup版本：2.764
1.1installfromInternet
1.2设置cygwin最好简短，地址中间不带空格
1.3DirectConnection
1.4选择downsite(网易163：mirrors.163.com)
1.5开始选择需要安装的组件
1.5.1NetCategory下的两个OpenSSL(重要)

1.5.2BaseCategory下的sed

1.5.3EditorCategory下的vim

1.5.4DevelCategory下的subversion

1.5.5点击下一步开始下载并安装，一气呵成，否则重新安装。
1.6配置系统环境变量
JAVA_HOME=C:\Java\jdk1.7.0_01
CLASSPATH=.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar
PATH=%JAVA_HOME%/bin;%JAVA_HOME%/jre/bin;C:\windows\system32\;
1.7BINGO用户中的变量
PATH=D:\study\cygwin\bin;D:\study\cygwin\usr\bin
2.在cygwin中安装ssh

2.1打开cygwin会提示用户没有权限的问题，按照提示敲入相应两个命令解决，待参数
-l
2.2敲入命令ssh-host-config开始配置ssh。遇到问题“shouldprivilegeseparationbeused?”
回答no，其他的按默认，它会询问是否注册为系统服务，回答是。
2.3在“管理”-“服务”里开启CYGWINsshd服务。
2.4配置SSH空密码登录
执行以下命令：
ssh-keygen生成本机密钥
cd~/.ssh/
cpid_rsa.pubauthorized_keys
关闭cygwin，重新打开cygwin。尝试sshlocalhost连接。
2.5但是，在cygwin中无法执行命令sshlocalhost，提示，Connectionclosedby1.这是权
限问题。
解决方案：1、开端——运行——services.msc2、右键CYGWINsshd——属性——登录
选项卡——选择“此账户”——浏览——高级——立即查找——选择你的账户名（必须为
管理员权限）——输进密码（必须要有，空密码不将不被接受）——确定。3、重启
CYGWINsshd即可。
2.6执行命令sshlocalhost正常

3.Hadoop

入门：cygwin中看到的windows文件全部都在/cygwin/目录下。这个目录下的文件夹对
应这windows系统中的c盘，d盘…
因此，如果在windows目录下的路径是c:\1.txt
那么，在linux目录下的路径是/cygdrive/c/1.txt
3.1解压hadoop到D:\study\hadoop-0.20.2
3.2配置hadoop
3.2.1配置conf下的hadoop-env.sh
#Thejavaimplementationtouse.Required.
exportJAVA_HOME=/cygdrive/c/Java/jdk1.7.0_01
记得去掉export前面的注释
3.2.2分别从src下的core，hdfs和mapred三个目录下的core-default.xml，hdfs-default.xml
和mapred-default.xml拷贝到conf目录中；分别替换掉目录下的core-site.xml，hdfs-site.xml
和mapred-site.xml
3.2.3编辑core-site.xml
<name>fs.default.name</name>
<value>hdfs://localhost:8888</value>
3.2.4编辑mapred-s