云计算平台搭建方案.doc

Hadoop云计算平台搭建方案一、平台搭建概述1.1总体思绪针对于电网公司在营销服务领域展开的大数据分析解决，搭建Hadoop云计算平台进行海量数据存储，并作深层次加工、解决，挖掘出无法简朴直观便可得到的新的模式，为电力公司的决策提供指导。平台采用Hadoop-2.2.0作为海量数据存储和分析工具，将其部署在4个物理计算机节点上，搭建Hadoop集群，其中1个节点作为master节点，其余3个作为slave节点。为了获取更好的稳定性，平台搭建在Linux系统（ubuntu-14.04-desktop-i386）环境下。1.2软件列表软件描述版本VMwareWorkstation虚拟化软件VMwareWorkstation10.0.2.46408UbuntuLinux操作系统ubuntu-14.04-desktop-i386JDKJava的软件开发工具包jdkl.8.0_20Hadoop开源的云计算基础框架Hadoop-2.2.0HBase分布式数据存储系统Hbase-0.96.2ZookeeperHadoop可靠协调系统Zookeeper-3.4.5Sqoop数据迁移工具Sqoop-1.99.31.3平台搭建总流程和节点信息一览表在平台搭建前，给出实现的总流程图和节点信息一览表，从而对平台搭建过程和各节点信息有一个全局的结识，平台搭建总流程如下图所示。创建虚拟机master，完毕JDK、Hadoop等应用的安装和配置对虚拟机master进行克隆，得到的虚拟机分别作为slave1、slave2和slave3完毕Zookeeper、HBase等其它分布式服务的部署，搭建Hadoop集群运营并测试Hadoop集群系统各节点信息如下表所示：机器名IP地址用户名充当角色master172.19.17.102hadoopJobTracker、Namenodeslave1172.19.17.104hadoopTaskTracker、Datanodeslave2172.19.17.105hadoopTaskTracker、Datanodeslave3172.19.17.106hadoopTaskTracker、Datanode二、基础平台的搭建环节本次大数据存储和解决平台的搭建，需要4台物理节点来部署Hadoop平台环境。我们使用虚拟机软件VMwareWorkstation创建4台虚拟机，承载平台搭建工作。此外，由于对4台虚拟机的配置大部分是相同的，所以运用VMwareWorkstation的克隆功能，可以减少部署的工作量。2.1安装虚拟机软件VMwareWorkstation一方面在4台PC机器上均安装虚拟化软件VMwareWorkstation，并输入相应的序列号。2.2在master节点上安装Linux系统Ubuntu在设定为masterPC节点上一方面安装Linux系统（版本为ubuntu-11.04-desktop-i386），在安装过程中为提高后期安装软件的兼容性和稳定性，在系统语言上选择英语。创建用户名为“hadoop”的普通用户，设立统一的密码。安装完毕后将系统的terminal命令窗口调出来，以便使用。同时，为实现虚拟机的Ubuntu系统与本机的Windows系统之间方便快捷的文字复制粘贴以及物理主机系统与虚拟机系统互相拖放文献进行共享，需要安装VMareTools工具，具体操作如下：启动虚拟机，进入Ubuntu系统，在VM菜单栏“虚拟机(M)”的下拉菜单点击“安装VMareTools(T)”后，会弹出一个“VMareTools”文献夹，里面包含VMareTools的安装包VMwareTools-9.6.2-1688356.tar.gz，将该安装包拷贝到/home/hadoop目录下，输入命令进行解压安装：tarxzvfVMwareTools-9.6.2-1688356.tar.gz此时在/home/hadoop/目录下产生vmware-tools-distrib文献夹，进入该目录，通过在terminal终端输入相应命令，运营vmware-install.pl脚本：cd/home/hadoop/vmware-tools-distrib//进入目录sudo./vmware-install.pl//执行vmware-install.pl脚本按提醒多次“回车”直至显示安装成功的信息，再重启系统即可。在完毕上述操作后，为保障Hadoop集群各节点之间的无障碍通信，需关闭系统防火墙。在重启系统后，在terminal终端输入命令：sudoufwdisable当显示“Firewallstoppedanddisableonsystemstartup”时表达防火墙已关闭，若后续服务部署过程中机器重启无法实现节点之间的互相通信，可尝试检查防火墙