Hadoop大数据平台部署与应用.pptx

Hadoop大数据平台部署与应用主要内容1、Hadoop生态系统概述以及版本演化Hadoop1.0与Hadoop2.0HDFS架构HDFS架构MapReduce词频统计MapReduce处理过程Hadoop组成：YARN（资源管理系统）Hadoop生态系统：1.0时代Hive（基于MR数据仓库）Pig（作业流引擎）WordCount：MapReduce实现WordCount：MapReduce实现WordCount：Hive实现WordCount：Pig实现Mahout（数据挖掘库）Hbase（分布式数据库）Hadoop生态系统：2.0时代2、Hadoop发行版介绍（开源版）Hadoop发行版介绍（开源版）Hadoop版本演化：HDPHadoop版本演化：CDH3、Hadoop安装Hadoop安装——软件准备Hadoop安装——安装操作系统Hadoop安装——JDKHadoop安装——安装Hadoop5）修改etc/hadoop/下几个配置文件：
（1）hadoop-env.sh
能够在命令窗口中使用下面显示java安装目录：
echo$JAVA_HOME
将exportJAVA_HOME=${JAVA_HOME}修改为
exportJAVA_HOME=/usr/lib/jvm/jdk1.6.0_45/
（2）hdfs-site.xml
将dfs.namenode.name.dir和dfs.datanode.data.dir改成自己对应路径
6）开启HDFS和YARN
（1）开启HDFS
格式化HDFS（第一次使用前做一次就能够了）：
bin/hadoopnamenode-format
开启namenode
sbin/hadoop-daemon.shstartnamenode
开启datanode
sbin/hadoop-daemon.shstartdatanode
（2）开启YARN
开启resourcemanager：
sbin/yarn-daemon.shstartresourcemanager
开启nodemanager：
sbin/yarn-daemon.shstartnodemanager
（3）备注
停顿resourcemanager：
sbin/yarn-daemon.shstopresourcemanager
停顿nodemanager：
sbin/yarn-daemon.shstopnodemanager
7）验证安装成功
打开浏览器（比如firefox），输入
（1）开启HDFS界面
http://localhost:50070/
（2）YARN界面
http://localhost:8088/8）使用HDFS
（1）创建目录
bin/hdfsdfs-mkdir/tmp
bin/hdfsdfs-mkdir/tmp/input
（2）将当地文件上传到HDFS上
bin/hdfsdfs-putsrc/BUILDING.txt/tmp/input
（3）查看上传到HDFS中文件
bin/hdfsdfs-ls/tmp/input
9）运行MapReduce程序
bin/hadoopjarshare/hadoop/mapreduce2/hadoop-mapreduce-examples-2.5.0-cdh5.2.0.jarpi210004、HDFS上机操作HDFSshell使用使用java编程访问HDFSpublicstaticvoidtestMkdirPath(Stringpath)throwsException{
FileSystemfs=null;
try{
System.out.println("Creating"+path+"onhdfs...");
Configurationconf=newConfiguration();
//Firstcreateanewdirectorywithmkdirs
PathmyPath=newPath(path);
fs=myPath.getFileSystem(conf);

fs.mkdirs(myPath);
System.out.println("Create"+path+"onhdfssuccessfully.");
}catch(Exceptione){
System.out.println("Exception:"+e);
}finally{
if(fs!=null)fs.close();
}
}

publicstaticvoidtestDeletePath(Stringpath)throwsException{
FileSystemfs=null;
try{
System.out.println("Deleting"+path+"onhdfs...");