大数据存储与处理-第二讲.ppt
玉怡****文档
亲,该文档总共51页,到这已经超出免费预览范围,如果喜欢就直接下载吧~
相关资料
大数据存储与处理-第二讲.ppt
大数据的三个关键问题Google的大数据技术Google的业务:PageRank三大法宝三大关键问题存储问题提升吞吐量三大关键问题多核技术三大关键问题数据容错计算任务容错Google是如何解决其大数据处理的三个关键性问题的?我们需要先了解Google的业务特点。Google之前的搜索Google搜索结果如何排序!佩奇(Page)斯坦福算法的图论表述PageRank(9)–算法的计算问题Google三大法宝之一:MapReduce想办法解决大规模矩阵相乘问题:我拆想办法解决大规模矩阵相乘问题
大数据存储与处理-第二讲.ppt
大数据的三个关键问题Google的大数据技术Google的业务:PageRank三大法宝三大关键问题存储问题提升吞吐量三大关键问题多核技术三大关键问题数据容错计算任务容错Google是如何解决其大数据处理的三个关键性问题的?我们需要先了解Google的业务特点。Google之前的搜索Google搜索结果如何排序!佩奇(Page)斯坦福算法的图论表述PageRank(9)–算法的计算问题Google三大法宝之一:MapReduce想办法解决大规模矩阵相乘问题:我拆想办法解决大规模矩阵相乘问题
大数据存储与处理-第五讲.ppt
Hbase简介本节目录Google应用场景答案本节目录稀疏稀疏与HBase面向列的数据模型稀疏与HBase面向列的数据模型海量逻辑表到物理存储-逐步拆解逻辑表到物理存储-Table→Region逻辑表到物理存储-Region→Store逻辑表到物理存储-Store→HFile逻辑表到物理存储-HFile→HDFSBlock速度速度的关键第1步:定位Region
大数据存储与处理-第五讲.ppt
Hbase简介本节目录Google应用场景答案本节目录稀疏稀疏与HBase面向列的数据模型稀疏与HBase面向列的数据模型海量逻辑表到物理存储-逐步拆解逻辑表到物理存储-Table→Region逻辑表到物理存储-Region→Store逻辑表到物理存储-Store→HFile逻辑表到物理存储-HFile→HDFSBlock速度速度的关键第1步:定位Region
大数据存储与处理-第三讲.ppt
12一个分布式文件系统和并行执行环境(框架)让用户便捷地处理海量数据Apache软件基金会下面的一个开源项目目前Yahoo!是最主要的贡献者ApacheLucene开源的高性能全文检索工具包ApacheNutch开源的Web搜索引擎Google三大论文MapReduce/GFS/BigTableApacheHadoop大规模数据处理扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。成本低(Economical):可以通过普通机器组成的服务器群来分