通用大数据存储与分析处理平台-Hadoop.doc

PAGE\*MERGEFORMATV

通用大数据存储与分析处理平台

总体建设方案
(Hadoop)
目 录
TOC\o"2-3"\h\z\t"标题1,1"HYPERLINK\l"_Toc392013741"1 Hadoop PAGEREF_Toc392013741\h1
HYPERLINK\l"_Toc392013742"1.1 概述 PAGEREF_Toc392013742\h1
HYPERLINK\l"_Toc392013743"1.1.1 Hadoop能做什么 PAGEREF_Toc392013743\h1
HYPERLINK\l"_Toc392013744"1.2 特点 PAGEREF_Toc392013744\h1
HYPERLINK\l"_Toc392013745"1.3 软件设计 PAGEREF_Toc392013745\h1
HYPERLINK\l"_Toc392013746"1.3.1 Hadoop中的文件格式 PAGEREF_Toc392013746\h1
HYPERLINK\l"_Toc392013747"1.3.2 机架感知 PAGEREF_Toc392013747\h10
HYPERLINK\l"_Toc392013748"1.4 Hadoop知识学习篇 PAGEREF_Toc392013748\h11
HYPERLINK\l"_Toc392013749"1.4.1 RPC PAGEREF_Toc392013749\h11
HYPERLINK\l"_Toc392013750"1.4.2 Avro、Thrift PAGEREF_Toc392013750\h11
HYPERLINK\l"_Toc392013751"1.4.3 Java接口 PAGEREF_Toc392013751\h11
HYPERLINK\l"_Toc392013752"1.4.4 FileSystem总结 PAGEREF_Toc392013752\h1
HYPERLINK\l"_Toc392013753"1.4.5 文件读取过程/文件写入过程 PAGEREF_Toc392013753\h4
HYPERLINK\l"_Toc392013754"1.4.6 Hadoop均衡器 PAGEREF_Toc392013754\h1
HYPERLINK\l"_Toc392013755"1.4.7 Hadoop存档 PAGEREF_Toc392013755\h1
HYPERLINK\l"_Toc392013756"1.4.8 数据完整性 PAGEREF_Toc392013756\h3
HYPERLINK\l"_Toc392013757"1.4.9 压缩 PAGEREF_Toc392013757\h4
HYPERLINK\l"_Toc392013758"1.4.10 序列化【优点】 PAGEREF_Toc392013758\h6
HYPERLINK\l"_Toc392013759"1.4.11 序列化框架 PAGEREF_Toc392013759\h11
HYPERLINK\l"_Toc392013760"1.4.12 MapReduce过程中的序列化与反序列化 PAGEREF_Toc392013760\h20
HYPERLINK\l"_Toc392013761"1.4.13 √HDFS数据结构 PAGEREF_Toc392013761\h25
HYPERLINK\l"_Toc392013762"1.4.14 MapReduce框架 PAGEREF_Toc392013762\h26
HYPERLINK\l"_Toc392013763"1.4.15 MapReduce工作机制 PAGEREF_Toc392013763\h39
HYPERLINK\l"_Toc392013764"1.4.16 推测执行【优点】 PAGEREF_Toc392013764\h42
HYPERLINK\l"_Toc392013765"1.4.17 重用JVM【优化】 PAGEREF_Toc392013765\h43
HYPERLINK\l"_Toc392013766"1.4.18 IDS PAGEREF_Toc392013766\h43
HYPERLINK\l"_Toc392013767"1.4.19 输入格式 PAGEREF_To