Hadoop云计算实验报告.docx

Hadoop云计算实验报告Hadoop云计算实验报告实验目的在虚拟机Ubuntu上安装Hadoop单机模式和集群；编写一个用Hadoop处理数据的程序在单机和集群上运行程序。实验环境虚拟机：VMware9操作系统：ubuntu-12.04-server-x64（服务器版）ubuntu-14.10-desktop-amd64（桌面版）Hadoop版本：hadoop1.2.1Jdk版本：jdk-7u80-linux-x64Eclipse版本：eclipse-jee-luna-SR2-linux-gtk-x86_64Hadoop集群：一台namenode主机master一台datanode主机salvemaster主机IP为10.5.110.223slave主机IP为10.5.110.207。实验设计说明主要设计思路在ubuntu操作系统下安装必要软件和环境搭建使用eclipse编写程序代码。实现大数据的统计。本次实验是统计软件代理系统操作人员处理的信息量即每个操作人员出现的次数。程序设计完成后在集成环境下运行该程序并查看结果。算法设计该算法首先将输入文件都包含进来然后交由map程序处理map程序将输入读入后切出其中的用户名并标记它的数目为1形成<word1>的形式然后交由reduce处理reduce将相同key值(也就是word)的value值收集起来形成<wordlistof1>的形式之后再将这些1值加起来即为用户名出现的个数最后将这个<keyvalue>对以TextOutputFormat的形式输出到HDFS中。程序说明UserNameCountMap类继承了org.apache.hadoop.mapreduce.Mapper4个泛型类型分别是map函数输入key的类型输入value的类型输出key的类型输出value的类型。UserNameCountReduce类继承了org.apache.hadoop.mapreduce.Reducer4个泛型类型含义与map类相同。main函数通过addInputPath将数据文件引入该类在通过setOutputPath将生成结果转为一个文件实现生成结果即统计结果的查看。FileInputFormat.addInputPath(jobnewPath(args[0]));FileOutputFormat.setOutputPath(jobnewPath(args[1]));程序具体代码如附件中源程序。实验过程安装实验环境安装ubuntu操作系统打开VMware在Hometab中单击“CreateaNewVirtualMachine”选择custom选择虚拟硬件版本Workstation9.0选择ios文件next录入目标操作系统信息包括Fullname、Uername和Passwordnext选择默认的选项一般不做更改最后确认信息Finish安装成功后会看到如下画面安装配置Samba安装samba主要为了实现与windows操作系统的通讯由于server版本的ubuntu没有自带图形操作界面所以下载资料等操作不太方便这也是安装samba的目的之一。安装samba输入如下命令：安装vim创建共享目录并修改权限配置samba。修改samba的配置文件/etc/samba/smb.conf将security=share并在文件的末尾追加如下内容测试。在windows实机中通过ip访问ubuntu虚拟机可以见到share文件夹安装配置JDK首先下载java开发工具包JDK。在本次试验中我们下载的版本是jdk-7u80-linux-x64.gz。解压安装到/usr/lib/jvm/目录下更名为java-7-sun。配置环境变量/etc/environment使配置生效测试安装配置结果在单节点（伪分布式）环境下运行HADOOP添加Hadoop用户并赋予sudo权限安装配置SSH切换至hadoop用户配置密钥使得hadoop用户能够无须输入密码通过SSH访问localhost测试结果：安装配置Hadoop首先下载Hadoop解压缩到/opt/hadoop目录下本次试验中我们下载的版本是hadoop-1.2.1-bin.tar.gz更改目录名称为hadoop。修改与hadoop相关的配置文件（在/opt/hadoop/conf目录下）分别是core-site.xmlhadoop-env.shhdsf-site.xmlmapred-site.xml。在此不一一列举。运行Hadoop首先格式化HDFS启动单节点集群通过jps查看masters