《Hadoop大数据技术原理与应用》课程教学大纲.pdf

《Hadoop大数据技术原理与应用》课程教学大纲课程编号：3250578学分：4学分学时：72学时（其中：讲课学时36上机学时：36）先修课程：《Linux基础》、《关系数据库基础》、《程序设计基础》、《Java面向对象编程》后续课程：Spark,《Python编程基础》、《Python数据分析与应用》适用专业：大数据应用技术一、课程的性质与目标《大数据应用开发》本课程是软件技术专业核心课程，大数据技术入门课程。通过学习课程使得学生掌握大数据分析的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对Hadoop平台应用与开发的一般理论有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。二、教学条件要求操作系统：CenterOSHadoop版本：Hadoop2.7.4开发工具：Eclipse三、课程的主要内容及基本要求第I章初识Hadoop章名初识Hadoop学时4L了解什么是大数据及其特征2.熟悉大数据的典型应用学习目标3.了解Hadoop的发展历史及其版本4.掌握Hadoop的生态体系知识点了解掌握重点难点什么是大数据√大数据的特征√研究大数据的意义√大数据的应用场景√Hadoop的发展历史√Hadoop的优势√√Hadoop的生态体系√√√Hadoop的版本√第2章构建Hadoop集群章名Hadoop集群构建学时51.了解虚拟机的安装和克隆2.熟悉Linux系统的网络配置和SSH配置学习目标3.掌握Hadoop集群的搭建和配置4.掌握Hadoop集群测试5.熟悉Hadoop集群初体验的操作知识点了解掌握重点难点虚拟机安装√虚拟机克隆√Linux系统网络配置√SSH服务配置√Hadoop集群部署模式√JDK安装√Hadoop安装√Hadoop集群配置√√√格式化文件系统√启动和关闭HadOoP集群√√通过UI界面查看Hadoop运行状态√√Hadoop集群初体验√√第3章HDFS分布式文件系统章名HDFS分布式文件系统学时51.了解HDFS演变2.掌握HDFS特点学习目标3.掌握HDFS的架构和原理4.掌握HDFS的Shell和JaVaApi操作知识点了解掌握重点难点HDFS的演变√HDFS的基本概念√HDFS的特点√√HDFS架构和原理√√HDFS的Shen操作√HDFS的JavaAPI操作√第4章MapReduce分布式计算系统章名MapReduce分布式计算框架学时81.理解MapReduce的核心思想2.掌握MapReduce的编程模型学习目标3.掌握MapReduce的工作原理4.掌握MapReduce常见编程组件的使用知识点了解掌握重点难点MapReduce核心思想√MapReduce编程模型√√MapReduce编程实例--词频统计√MapReduce工作过程√√√MapTask工作原理√√RecluceTask工作原理√√Shuffle工作原理√√MapReduce编程组件√√√MapReduce运行模式√MapReduce性能优化策略√MapReduce经典案例--倒排索引√MapReduce经典案例--数据去重√MapReduce经典案例---TopN√第5章Zookeeper分布式协调服务章名HadoOP进阶学时101.了解Zookeeper的概念和特性2.理解Zookeeper数据模型3.掌握Zookeeper的Watch机制和选举机制学习目标4.掌握Zookeeper的集群部署5.掌握Zookeeper的Shell操作和JavaAPI操作6.熟悉Zookeeper的应用场景知识点了解掌握重点难点Zookeeper的简介√Zookeeper的特性√Zookeeper集群角色√Zookeeper的数据模型√Zookeeper的Watch机制√√Zookeeper的选举机制√√Zookeeper分布式集群部署√√√ZookeeperShell操作√ZookeeperJavaAPI操作√Zookeeper典型应用场景√第6章Hadoop2.0新特性章名Hadoop2.0新特性学时31.掌握YARN的体系结构和工作流程学习目标2.掌握HDFS的高可用架构3.会搭建Hadoop高可用集群知识点了解掌握重点难点Hadoop2.0改进与提升√YARN体系结构√√YARN工作流程√√HDFSHA的搭建方式√Hadoop的高可用架构√启动HadoopHA方式√第7章Hive数据仓库章名Hive数据仓库学时7L了解HiVe的相关功能和特点学习目标2.熟悉HiVe的简单安装和配置3.掌握HiVeQL的相关操作知识点了解掌握重点难点数据仓库简介√数据仓