基于Hadoop的云计算试验平台搭建研究.docx

第31卷第1期沈阳师范大学学报(自然科学版)V01．31No．12013年1月_o越糯“o厂懿P∞榭培Norm口ZL及i谢您i纱(№￡拉豫Z&i跏卯)Jan2013文章编号：1673—5862(2013)01—0085一05基于HadOOp的云计算试验平台搭建研究张岩1郭松2赵国海2(1．沈阳师范大学计算机与数学基础教学部沈阳110034；2．沈阳师范大学教育技术学院沈阳110034)摘要：Hadoop是一个免费的开源云平台是允许在集群计算机上分布式处理大数据的软件框架。它是一种可靠、高效、可伸缩的云平台很适合在实验室环境下进行模拟测试。以Hadoop为基础借助虚拟机、强出粕re以及Linux、ubuntu、Hadoop、java—jdk等软件详细地介绍了单机环境下的虚拟云平台搭建过程并给出具体的实例搭建过程。在设计实例中详细的论述了虚拟机、java、Had∞p等软件的安装、设置、测试过程。实现了在实验室环境对云平台的虚拟并提出了在搭建试验平台时应该注意的用户权限、路径配置和使用ssH服务程序等问题。该试验平台为系统中间件和应用服务的开发提供了基础。关键词：Hadoop；云计算；虚拟；java中图分类号：TP311文献标志码：Adoi：10．3969／i．issn1673—5862．2013．01．0190引言云计算是继1980年大型计算机到客户端——服务器的大转变之后的又一种巨变。云是分布式计算(distributedcomputing)、并行计算(parallelcomputing)、效用计算(utilitycomputing)、网络存储(networkstoragetechnologies)、虚拟化(virtualization)、负载均衡(10adbalance)等传统计算机和网络技术发展融合的产物。云计算的核心思想是把大量的资源通过网络进行统一存储、调度和使用形成一个庞大的资源库给用户提供服务。2011年工业和信息化部、国家发展和改革委员会联合印发《关于做好云计算服务创新发展试点示范工作的通知》确定在北京、上海、深圳、杭州、无锡等5个城市先行开展云计算服务创新发展试点示范工作显示出我国对于发展云计算的高度重视[1]。1开源云平台——HadoopHadoop是一个在大型集群的廉价硬件设备上运行应用程序的开源云平台软件框架。Hadoop为应用程序透明的提供了一组稳定、可靠的接口和数据服务[2|。Hadoop中实现了Gb091e的MapReduce算法它能够把应用程序分割成许多很小的工作单元每个单元可以在任何集群节点上执行或重复执行。此外Hadoop还提供一个分布式文件系统用来在各个计算节点上存储数据并提供了对数据读写的高吞吐率。由于应用了map／reduce和分布式文件系统使得Hadoop框架具有高容错性它会自动处理失败节点L3J。Hadoop的优势不但在于它的开源而且它的设计根本就是存储和计算的高可扩展性分布式文件系统的备份恢复机制和Mapreduce的任务监控又保证了分布式处理的高可靠性。任何普通的PC上安装运行Hadoop框架集群都可以对海量的信息进行高效处理[4]。收藕日期：2012一08一12。基金项目：辽宁省自然科学基金资助项目(201202197)。作者简介：张岩(1968一)女辽宁沈阳人沈阳师范大学教授硕士研究生导师。万方数据86沈阳师范大学学报(自然科学版)第31卷为了能在实验室环境下实现云平台并能够在云平台上进行开发测试在考虑成本的前提下可以采用虚拟环境下的云平台的搭建既节省资金又能完成试验的目的。2Hadoop虚拟平台搭建2．1硬件和软件需求软件：VMware虚拟机8．o以上版本Linux操作系统本文采用ubuntulo．04版本Hadoopl．o．4java-jdk1．6．x。硬件：一台清华同方个人PCCPU采用13—2120内存4GB硬盘500GB预装Windows)【P操作系统。2．2Linux虚拟机安装与设置在WindowsXP系统下安装Ⅵ订ware虚拟机以后打开虚拟机在虚拟机下安装Linux操作系统由于实验用的模拟平台采用一个主机和4个节点需要虚拟5台计算机。为了能够网络通信要对虚拟机的网络进行相应得配置。VMware的虚拟网络适配器通常采用Bridge和NAT两种方式使虚拟机能够进行网络连接‘5|：1)Bridge方式：可以给虚拟机分配一个与主机相同网段的IP地址实现多台主机连接。2)NAT方式：VMware虚拟一个局域网此种方式非常适合单主机多虚拟机构建集群。在虚拟Hadoop系统集群中。在实验中采用NAT方式。通过clone选项可以看到在ⅥⅥware中安装了几台虚拟机[6l。打开／et