hadoop搭建与eclipse开发环境设置--已验证通过.doc

hadoop搭建与eclipse开发环境设置
――刘刚
Windows下eclipse开发环境配置
1.1安装开发hadoop插件
将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse的插件目录plugins下。
需要注意的是插件版本（及后面开发导入的所有jar包）与运行的hadoop一致，否则可能会出现EOFException异常。

重启eclipse，打开windows->openperspective->other->map/reduce可以看到map/reduce开发视图。

1.2设置连接参数
打开windows->showview->other->map/reduceLocations视图，在点击大象后弹出的对话框（Generaltab）进行参数的添加：

参数说明如下：
Locationname:任意
map/reducemaster：与mapred-site.xml里面mapred.job.tracker设置一致。
DFSmaster：与core-site.xml里fs.default.name设置一致。
Username:服务器上运行hadoop服务的用户名。

然后是打开“Advancedparameters”设置面板，修改相应参数。上面的参数填写以后，也会反映到这里相应的参数：
主要关注下面几个参数：
fs.defualt.name：与core-site.xml里fs.default.name设置一致。
mapred.job.tracker：与mapred-site.xml里面mapred.job.tracker设置一致。
dfs.replication：与hdfs-site.xml里面的dfs.replication一致。
hadoop.tmp.dir：与core-site.xml里hadoop.tmp.dir设置一致。
hadoop.job.ugi：并不是设置用户名与密码。是用户与组名，所以这里填写hadoop,hadoop。
说明：第一次设置的时候可能是没有hadoop.job.ugi和dfs.replication参数的，不要紧，确认保存。打开ProjectExplorer中DFSLocations目录，应该可以年看到文件系统中的结构了。但是在/hadoop/mapred/system下却没有查看权限，如下图：

而且删除文件的时候也会报错：

这个原因是我使用地本用户Administrator（我是用管理员用户登陆来地windows系统的）进行远程hadoop系统操作，没有权限。

此时再打开“Advancedparameters”设置面板，应该可以看到hadoop.job.ugi了，这个参数默认是本地操作系统的用户名，如果不幸与远程hadoop用户不一致，那就要改过来了，将hadoop加在第一个，并用逗号分隔。如：
保存配置后，重新启动eclipse。/hadoop/mapred/system下就一目了然了，删除文件也OK。

1.3运行hadoop程序
首先将hadoop安装包下面的所有jar包都导到eclipse工程里。
然后建立一个类：DFSOperator.java，该类写了四个基本方法：创建文件，删除文件，把文件内容读为字符串，将字符串写入文件。同时有个main函数，可以修改测试:

packagecom.kingdee.hadoop;

importjava.io.BufferedReader;
importjava.io.IOException;
importjava.io.InputStream;
importjava.io.InputStreamReader;

importorg.apache.hadoop.conf.Configuration;
importorg.apache.hadoop.fs.FSDataOutputStream;
importorg.apache.hadoop.fs.FileSystem;
importorg.apache.hadoop.fs.Path;

/**
*
*Theutilitiestooperatefileonhadoophdfs.
*
*@authorluolihui2011-07-18
*
*/
publicclassDFSOperator{

privatestaticfinalStringROOT_PATH="hdfs:///";
privatestaticfinalintBUFFER_SIZE=4096;

/**
*construct.
*/
publicDFSOperator()