基于hadoop2.doc

电子科技大学成都学院云计算系实践专周设计报告课程名称：基于Hadoop2.0并行数据处理应用指导教师组：邹倩颖王小芳组长学号姓名：1341310131屈太源组员学号姓名：1341310120冯小丹组员学号姓名：1341310726张瑜云计算科学与技术系制2015年12月目录目录目录TOC\o"1-3"\h\z\uHYPERLINK\l_Toc29965第1章引言PAGEREF_Toc299651HYPERLINK\l_Toc46121.1问题分析PAGEREF_Toc46121HYPERLINK\l_Toc150021.2设计目标PAGEREF_Toc150021HYPERLINK\l_Toc61691.2.1基本功能PAGEREF_Toc61691HYPERLINK\l_Toc145311.2.2扩展功能PAGEREF_Toc145312HYPERLINK\l_Toc119051.3设计思路PAGEREF_Toc119052HYPERLINK\l_Toc318781.4功能描述PAGEREF_Toc318782HYPERLINK\l_Toc85521.5设计过程PAGEREF_Toc85523HYPERLINK\l_Toc28637第2章相关技术简介PAGEREF_Toc286374HYPERLINK\l_Toc203192.1Hadoop平台介绍PAGEREF_Toc203194HYPERLINK\l_Toc24752.2MapReduce并行程序设计PAGEREF_Toc24754HYPERLINK\l_Toc256042.2.1Map函数PAGEREF_Toc256044HYPERLINK\l_Toc159232.2.2Reduce函数PAGEREF_Toc159235HYPERLINK\l_Toc95092.2.3MapReduce计算模型的优化PAGEREF_Toc95095HYPERLINK\l_Toc154212.3HDFS简介PAGEREF_Toc154216HYPERLINK\l_Toc199302.3.1HDFS节点PAGEREF_Toc199306HYPERLINK\l_Toc92902.3.2关于NameNodePAGEREF_Toc92906HYPERLINK\l_Toc39262.3.3关于DataNode及体系结构图PAGEREF_Toc39267HYPERLINK\l_Toc4747第3章环境搭建过程详述PAGEREF_Toc47478HYPERLINK\l_Toc198593.1搭建hadoop伪分布的环境PAGEREF_Toc198598HYPERLINK\l_Toc229043.2设置ssh免密码登本地PAGEREF_Toc229048HYPERLINK\l_Toc76783.2.1创建一个wifiPAGEREF_Toc76788HYPERLINK\l_Toc312923.2.2配置jdkPAGEREF_Toc312929HYPERLINK\l_Toc1983.2.3配置hadoopPAGEREF_Toc1989HYPERLINK\l_Toc44253.2.4测试hadoop是否搭建成功PAGEREF_Toc442512HYPERLINK\l_Toc20874第4章MapReduce并行设计实现PAGEREF_Toc2087413HYPERLINK\l_Toc247924.1第一案例要求PAGEREF_Toc2479213HYPERLINK\l_Toc47164.2核心代码1PAGEREF_Toc471613HYPERLINK\l_Toc123224.3第二案例要求PAGEREF_Toc1232216PAGE\*MERGEFORMAT2PAGE\*MERGEFORMATIHYPERLINK\l_Toc32924.4核心代码2PAGEREF_Toc329216HYPERLINK\l_Toc11659第5章测试和总结PAGEREF_Toc1165920HYPERLINK\l_Toc239575.1集群测试和调试PAGEREF_Toc2395720HYPERLINK\l_Toc130925.2集群系统存在的问题及解决方案PAGEREF_Toc1309220HYPERLI