一种hadoop集群性能的优化方法.pdf

(19)中华人民共和国国家知识产权局*CN102929667A*(12)发明专利申请(10)申请公布号CN102929667A(43)申请公布日2013.02.13(21)申请号201210410302.7(22)申请日2012.10.24(71)申请人曙光信息产业（北京）有限公司地址100193北京市海淀区东北旺西路8号中关村软件园36号(72)发明人马庆怀(74)专利代理机构北京安博达知识产权代理有限公司11271代理人徐国文(51)Int.Cl.G06F9/445(2006.01)G06F11/30(2006.01)权利要求书权利要求书2页2页说明书说明书44页页附图附图11页(54)发明名称一种hadoop集群性能的优化方法(57)摘要本发明涉及一种hadoop集群性能的优化方法，该方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤：A、安装监视工具nmon；B、运行hadoop集群系统；C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整。该方法能够监测CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/O速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络I/O速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统等。实时准确的定位系统性能瓶颈，能够快速实现对系统整体的性能优化。该方法能够使工程师的工作更有针对性，极大的减少了盲目的试探。CN102967ACN102929667A权利要求书1/2页1.一种hadoop集群性能的优化方法，其特征在于，所述方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤：A、安装监视工具nmon；B、运行hadoop集群系统。C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整，实现优化。2.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述安装监视工具nmon包括下述步骤：a、从网页界面下载nmon二进制包；b、将所述nmon二进制包复制到Hadoop集群的所有节点；c、使用$NMON_HOME目录代表放置nmon二进制代码的位置；d、选择作业管理节点jobtracker作为中心节点收集nmon数据；e、登录jobtracker中心节点；f、在所述jobtracker中心节点上创建目录并通过网络文件系统服务实现共享；g、创建脚本在Hadoop集群的所有节点上启动nmon。3.如权利要求2所述的hadoop集群性能的优化方法，其特征在于，所述步骤b中，所述Hadoop集群的所有节点包括：目录管理节点Namenode、任务计算节点Datanode、作业管理节点Jobtracker和辅助目录管理节点SecondNamenode。4.如权利要求2所述的hadoop集群性能的优化方法，其特征在于，所述步骤f包括以下步骤：（1）在所述jobtracker中心节点上创建目录；（2）修改/etc/exports文件；（3）重新启动网络文件系统服务；（4）在目录管理节点Namenode、任务计算节点Datanode和辅助目录管理节点SecondNamenode上创建该目录并将其挂装到jobtracker中心节点上的perf_share目录中。5.如权利要求2所述的hadoop集群性能的优化方法，其特征在于，所述步骤g中，所述脚本包括：-f表示希望把数据保存到文件中，并不在屏幕上显示；-m表示保存数据的位置；-s30表示希望每30秒捕捉一次数据；-c360表示需要360个数据点（即快照），总数据收集时间为30x360秒，即3小时。6.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述步骤B中，通过所述监视工具nmon返回hadoop集群系统性能数据确定性能瓶颈，进行hadoop系统配置参数调整。7.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述hadoop集群系统的性能指标包括磁盘、CPU和内存网络。8.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述nmon为系统管理、调优和基准测试工具，用于监视hadoop集群系统的性能指标。9.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述hadoop系统配置参数调整是一个反复循环的过程。10.如权利要求1所述的hadoop集群性能的优化方法，其特征在于，所述步骤C中，根2CN102929667A权利要求书2/2页据运行过程中监视工具nmon的性能反馈，对hadoop集群参数进行调整，包括：I、统计系统各项数据，包括CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/O速度、传输和读/写比