HADOOP课程大纲.doc

(完整word)HADOOP课程大纲(完整word)HADOOP课程大纲第PAGE\*MERGEFORMAT4页(完整word)HADOOP课程大纲课程模块课程主题主要内容案例和演示模块一Hadoop在云计算技术的作用和地位传统大规模系统存在的问题Hadoop概述Hadoop分布式文件系统MapReduce工作原理Hadoop集群剖析Hadoop生态系统对一种新的解决方案的需求Hadoop的行业应用案例分析Hadoop在云计算和大数据的位置和关系数据开放,数据云服务平台(DAAS)时代Hadoop平台在数据云平台(DAAS）上的天然优势数据云平台（DAAS平台)组成部分互联网公共数据大云（DAAS）案例Hadoop构建构建游戏云（WebGameDaas）平台模块二Hadoop生态系统介绍和演示HadoopHDFS和MapReduceHadoop数据库之HBaseHadoop数据仓库之HiveHadoop数据处理脚本PigHadoop数据接口Sqoop和Flume,ScribeDataXHadoop工作流引擎Oozie运用Hadoop自下而上构建大规模企业数据仓库暴风影音数据仓库实战解析模块三Hadoop组件详解HadoopHDFS基本结构HadoopHDFS副本存放策略HadoopNameNode详解HadoopSecondaryNameNode详解HadoopDataNode详解HadoopJobTracker详解HadoopTaskTracker详解HadoopMapper类核心代码HadoopReduce类核心代码Hadoop核心代码模块四Hadoop安装和部署Hadoop系统模块组件概述Hadoop试验集群的部署结构Hadoop安装依赖关系Hadoop生产环境的部署结构Hadoop集群部署Hadoop高可用配置方法Hadoop集群简单测试方法Hadoop集群异常Debug方法Hadoop安装部署实验RedhatLinux基础环境搭建Hadoop单机系统版本安装配置Hadoop集群系统版本安装和启动配置使用HadoopMapReduceStreaming快速测试系统Hadoopcore-site，hdfs—site,mapred—site配置详解模块五Hadoop集群规划Hadoop集群内存要求Hadoop集群磁盘分区集群和网络拓扑要求集群软件的端口配置针对NameNodeJobtrackerDataNodeTaskTrackerHiveserver等不同组件需求推荐服务器配置模块六MapReduce算法原理HadoopMapReduce算法的原理和优化思想灵活运用MapReduce实现算法运用MapReduce构建数据库算法SelectSortGrougBySumCountJoin新进流失算法使用Y—Smart快速转换SQL为MapReduce代码模块七编写MapReduce高级程序使用HadoopMapReduceStreaming编程MapReduce流程剖析一个MapReduce程序基本MapReduceAPI概念驱动代码Mapper、ReducerHadoop流API使用Eclipse进行快速开发新MapReduceAPIMapReduce的优化MapReduce的任务调度MapReduce编程实战如何利用其他Hadoop相关技术，包括ApacheHive，ApachePig，Sqoop和Oozie等满足解决实际数据分析问题的高级HadoopAPIHadoopStreaming和JavaMapReduceApi差异。MapReduce实现数据库功能利用Combiners来减少中间数据编写Partitioner来优化负载平衡直接访问Hadoop分布式文件系统（HDFS)Hadoop的join操作辅助排序在Reducer方的合并定制Writables和WritableComparables使用SequenceFiles和Avro文件保存二进制数据创建InputFormatsOutputFormatsHadoop的二次排序Hadoop的海量日志分析在Map方的合并模块八集成Hadoop到现有工作流及HadoopAPI深入探讨存储系统利用Sqoop从关系型数据库系统中导入数据到Hadoop利用Flume导入实时数据到HadoopToolRunner介绍、使用MRUnit进行测试使用Configure和Close方法来进行Map/Reduce设置和关闭使用FuseDFS和Hadoop访问HDFS使用分布式缓存（DistributedCache）直接访问Hadoop分布式文件系统（HDFS)利用Combiners来减少中间数据编写Partitioner来优化负载平衡模块九使用Hive和Pig开发及技巧Hive和