海量数据分析平台监控管理模块设计与实现.doc

海量数据分析平台监控管理模块设计与实现随着计算机技术的发展,计算能力已经成为各行各业不可缺少的能力,面对计算资源需求的不断增加,以前的大型计算机或超级计算机已经不能满足现代各个行业的需求,所以需要新的计算资源管理分配方式,于是云计算应运而生。云计算以分布式系统为基础,将计算资源集中管理,提供大规模的计算能力、大数据的存储能力,云计算还可以提供弹性的资源管理分配方式,可以根据业务的需要动态的调整计算能力,最大化的榨取机器计算资源。由于云计算平台分布式和集中化管理的特点,所以对云计算平台的监控管理工作是一项重要的议题。特别是PaaS平台,不仅提供底层的计算资源,还拥有上层复杂的应用执行功能,对平台的监控管理有更高的要求。本课题主要依托于本中心项目“基于云计算的海量数据分析平台”,目标是为该平台提供有效的运维管理工具。文中涉及的主要工作有:1)针对“基于云计算的海量数据分析平台”的特点,设计实现监视管理功能,对在该平台执行的数据处理应用的执行信息进行采集。2)基于监视功能采集的集群节点运行数据,使用平台现有的数据分析算法,实现对分布式集群性能的分析。3)研究分析多种日志管理方案,实现适用于海量数据分析平台的日志管理分析方案。4)设计实现用于平台运维的集群管理工具。