《Hadoop权威指南：大数据的存储与分析》笔记.docx

本文档只有word版，所有PDF版本都为盗版，侵权必究
《Hadoop权威指南：大数据的存储与分析》阅读随笔
目录
一、Hadoop简介..............................................3
1.1Hadoop的发展历程.....................................4
1.2Hadoop的核心组件.....................................6
1.2.1Hadoop分布式文件系统.............................6
1.2.2MapReduce编程模型................................8
1.2.3YARN资源管理器...................................9
二、Hadoop的安装与配置.....................................11
2.1安装前的准备........................................13
2.2安装步骤............................................14
2.3验证安装............................................16
三、Hadoop的数据存储.......................................17
3.1HDFS的工作原理......................................17
3.2HDFS的高级特性......................................19
3.2.1数据副本机制....................................21
3.2.2数据块大小调整..................................22
3.3HDFS的使用和管理....................................23
3.3.1文件的上传和下载................................24
3.3.2集群管理和维护..................................25
四、Hadoop的数据分析.......................................27
4.1MapReduce的工作流程.................................29
4.2MapReduce的应用案例.................................30
4.3Hive和Pig的使用.....................................31
4.3.1Hive的使用......................................32
4.3.2Pig的使用.......................................33
五、Hadoop的性能优化.......................................34
5.1网络优化............................................36
5.2内存优化............................................37
5.3磁盘优化............................................39
六、Hadoop的安全管理.......................................39
6.1用户和权限管理......................................41
6.2数据加密............................................42
6.3安全审计............................................44
七、Hadoop的实践与应用.....................................45
7.1电商网站数据存储与分析..............................47
7.2金融数据分析........................................49
7.3医疗健康数据存储与分析..............................51
八、总结与展望............................................