技术特点和应用分析.pptx

会计学背景介绍
Hadoop和HDFS简介
架构设计面临的问题和方案
设计理念
问题
解决方案
应用场景和成功案例Gartner–2009
下一个五年企业数据将增长650%
其中80%是非结构化复杂数据分布式文件系统背景介绍
Hadoop和HDFS简介
架构设计面临的问题和解决方案
设计理念
问题
解决方案
应用场景和成功案例Hadoop是用来处理并保存海量数据的云计算平台
Apache顶级项目
Hadoop构成：
分布式文件系统(HDFS)
MapReduce框架
其他
使用Java开发
运行于
Linux、MacOS/X、Windows和Solaris
主流商用服务器Hadoop家族简介背景介绍
Hadoop和HDFS简介
架构设计面临的问题和解决方案
设计理念
问题
解决方案
应用场景和成功案例无为而治
抓大放小
性能至上
高容错性

HDFS架构解决方案1Master+nSlave目录节点负责维护HDFS的文件目录空间
目录节点在本地文件系统保存
操作日志（Editlog）
目录镜像（FsImage）
管理
Hadoop集群管理
数据块备份管理元数据包含的信息
文件名称
文件与数据块的对应关系
数据块和数据节点信息
文件属性：如建立时间，备份数量
关于目录空间的元数据会加载到目录节点的内存中

数据节点是实际储存文件数据块的服务器
在本地端的文件系统（例如ext3）中储存真正的文件资料
记录关于数据块的元数据
例如：CRC校验码、数据块和本地文件系统位置的对应关系等
17HDFS架构解决方案写文件流程接口HDFS架构解决方案大数据块+多个备份HDFS架构解决方案数据完整性：备份机制数据节点启动时，扫描本地文件系统，生成块信息报告发给目录节点
块信息报告包含HDFS数据块和本地文件的对应关系目录节点启动时进入安全模式，不发生数据块备份
数据节点向目录节点发送心跳（Heartbeat）和块信息报告（Blockreport）
块信息报告包含数据节点上的所有数据块
目录节点综合评定数据块的备份数是否满足安全性要求，判断是否退出安全模式
退出安全模式后进行数据块备份HDFS架构解决方案健壮性:数据块损坏HDFS架构解决方案健壮性:数据节点宕机HDFS架构解决方案健壮性:目录节点宕机HDFS架构解决方案健壮性:次目录节点HDFS架构解决方案健壮性:负载均衡HDFS架构解决方案健壮型:快照3334353637背景介绍
Hadoop和HDFS简介
架构设计面临的问题和解决方案
设计理念
问题
解决方案
应用场景和成功案例关系型数据库：Yahoo
Hadoop部署于2万多台服务器上，CPU数量超过10万个。
Google
使用Hadoop在校园推广云计算相关的概念
Amazon
Amazon使用Hadoop建立产品搜索引擎的索引
每天处理数百个分析档案
IBM
BlueCloud
TrendMicro
使用Hadoop来保存并区分病毒行为记录档案

HadoopWiki,GFSWiki
GFS:googlefilesystem
TheHadoopDistributedFileSystem.KonstantinShvachko,HairongKuangetc.2010-10
HDFSscalability:thelimitstogrowth..KonstantinShvachko,HairongKuangetc.2010-10
AnintroductiontotheHadoopDistributedFileSystem.J.JefferyHanson.2011-2
HDFS白皮书：HDFSArchitectureGuide
HDFS白皮书：UsersGuide
谢谢！