Google云计算应用场景分析.pptx

主讲人：刘鹏云计算Google云计算应用场景分析Google的云计算应用均依赖于四个基础组件分布式文件存储，GFS并行数据处理模型MapReduce分布式锁Chubby结构化数据表BigTableGoogle云计算的技术架构Chubby的作用为GFS提供锁服务，选择Master节点；记录Master的相关描述信息通过独占锁记录ChunkServer的活跃情况为BigTable提供锁服务，记录子表元信息（如子表文件信息、子表分配信息、子表服务器信息）（可能）记录MapReduce的任务信息为第三方提供锁服务与文件存储GFS的作用存储BigTable的子表文件为第三方应用提供大尺寸文件存储功能文件读操作流程API与Master通信，获取文件元信息根据指定的读取位置和读取长度，API发起并发操作，分别从若干ChunkServer上读取数据API组装所得数据，返回结果BigTable的作用为Google云计算应用（或第三方应用）提供数据结构化存储功能类似于数据库为应用提供简单数据查询功能（不支持联合查询）为MapReduce提供数据源或数据结果存储BigTable的存储与服务请求的响应划分为子表存储，每个子表对应一个子表文件，子表文件存储于GFS之上BigTable通过元数据组织子表每个子表都被分配给一个子表服务器一个子表服务器可同时分配多个子表子表服务器负责对外提供服务，响应查询请求MapReduce的作用对BigTable中的数据进行并行计算处理（如统计、归类等）使用BigTable或GFS存储计算结果应用场景分析1——Google网站流量分析基本功能统计网站的基本数据，包括会话、综合浏览量、点击量和字节流量等等分析网站页面关注度，帮助企业调整或增删页面分析用户浏览路径，优化页面布局分析用户访问来源链接，提高广告投资回报分析用户访问环境（如OS和Explorer），帮助美化页面应用的特征海量数据需要存储海量的用户行为数据（如点击时间、位置等）海量用户需要为任意多的网站提供流量分析技术路线使用BigTable存储和检索数据，使用MapReduce统计数据BigTable中的表设计原始点击数据表行键：点击时间列键：网站URL、网站名称、用户IP地址、来源URL、目标URL……目前尺寸约200TBBigTable中的表设计统计数据表行键：网站URL（倒排）列键：点击次数（如记录最近一个月每日的访问次数等）、页面关注度（如记录网站页面的访问比率）、来源网站（如记录TOP10）、目标网站（如记录TOP10）…每个列中记录的内容是字符串，Analytics在查询后需要解析字符串获得统计结果可根据统计内容的增多增加新的列目前尺寸约20TB业务流程分析基础设施数据采集数据来源页面内嵌脚本点击行为脚本应用服务器获取到数据后，存入BigTable数据采集数据存储流程数据处理例如，统计网站(如xxx.com)过去一周网页访问比例数据处理流程数据处理：MapReduceMap操作假设过去一周查询结果文件在GFS中包含M个Chunk，那么Master寻找M个空闲的Worker，分别处理这M个Chunk，得到每个网站中页面的访问次数数据处理：MapReduce自动排序对M个中间结果进行排序数据处理：MapReduceReduce操作假设得到该网站含N个网站，那么可以分配N台Worker分别处理单个网站的数据数据处理写入数据应用程序将分析结果写入统计数据表数据查询从数据统计表中查询xxx.com行获取对应列的数据，解析，得到并展示最终结果数据处理是定期的，非实时响应查询应用场景分析2——Google搜索数据采集通过若干Spider在网络上搜集数据使用BigTable存储数据行键：倒排的URL列键：网站名称、语言、HTML描述、图片、链接……时间戳：记录不同时刻的网页快照数据采集Spider可能的数据处理流程数据整理Google搜索包括多个子类生活搜索：租房、车票、酒店等资讯搜索：热门新闻、分类新闻等学术搜索：学术论文定期计算网站评价数据例如PageRank的计算数据整理（Google学术搜索）数据整理（Google学术搜索）数据抽取寻找包含学术（论文）信息的网页数据，并结构化存储学术（论文）信息抽取（分析参考文献、摘要等）可能的技术方案：MapReduce+BigTable数据统计基于抽取的数据进行统计分析（如分析被引用次数等）可能的技术方案MapReduce+BigTable学术信息BigTable行键：论文标题列键：作者、主题词、摘要、参考文献、期刊信息、被引用次数、下载链接……数据整理（Google学术搜索）如何使用MapReduce抽取数据？数据整理（Google学术搜索）如何获取论文统计数据（如论文引用次数）分析论文信息表，二次MapReduce数据