Hadoop与云计算.ppt

刘莎四川师范大学一个Apache的开源项目；
一个能够对大量数据进行分布式处理的软件架构；
由HDFS、MapReduce、HBase、ZooKeeper和Hive等成员组成；
在众多企业都得到应用：Yahoo、Facebook、Tiwtter、Amazon、淘宝、网易、百度、中国移动、中科院计算所等。HadoopEcosystemHDFS是GoogleGFS的开源版本，一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量（PB级）的大文件（通常超过64M），因为HDFS中最小存储粒度为64M。NameNode节点作为master，维护集群内的元数据，对外提供创建、打开、删除和重命名文件或目录的功能。
DataNode节点存储数据，并负责提出处理数据的读写请求。
NameNode是唯一的，程序与之通信，然后从DataNode上存取文件。这些操作是透明的，与普通的文件系统API没有区别。
整个集群具有单一的命名空间。集群中存储的文件被分割成多个文件块，每个文件块被分配到一个或多个数据节点上（通常是多个，存储冗余度可以根据需求设置，但不能超过DataNode的个数）。MapReduceMapReduce的本质是：在map阶段分发数据，在Reduce阶段收集相同key对应的value，因此在这个问题上，可以在map阶段，将两个表格数据根据“产品ID”这个key分发出去，将“商品ID”及“支付ID”封装一下，作为map阶段的value，这样在reduce阶段就可以根据“产品ID”得到对应的“商品ID”及“支付ID”了。HBase2)经济:开源软件，成本比较低其框架可运行在任何廉价PC上，对硬件没有特殊的要求，支持常用的Linux操作系统和Windows操作系统；淘宝是在国内最先使用Hadoop的公司之一，而百度赞助了HyperTable的开发，加上北京研究Hadoop的高校很多，所以北京是Hadoop方面研究和应用需求最高的城市。
位于北京的中科院研究所，在2009年度还举办过几次Hadoop技术大会，加速了Hadoop在国内的发展。搭建hadoop平台Hadoop和云计算的关系?应用hadoop平台