(word完整版)windows下非submit-方式运行spark-on-yarn(CDH集群).doc

(word完整版)windows下非submit方式运行sparkonyarn(CDH集群)
(word完整版)windows下非submit方式运行sparkonyarn(CDH集群)
(word完整版)windows下非submit方式运行sparkonyarn(CDH集群)
windows下运行sparkonyarn（非submit方式)
本地环境
本地操作系统：windows10.1709教育版
本地hadoop版本:hadoop-2。6。5
本地winutils版本:hadoop2。6.4-2。6。7
本地spark版本：spark—2.2.0—bin-hadoop2.6
本地scala版本：scala-2。11。11
本地java版本：jdk-1.8。0_151
本地IDEA版本：idea2017。01

远端环境
集群操作系统：ubuntu-14。04-server版
集群hadoop版本:cloudera—cdh—5.13.0
集群spark版本:SPARK2-2。2。0.cloudera1—1.cdh5.12.0。p0。142354
集群scala版本:clouderacdh5。13自带spark1。6(scala运行环境scala-2.9。2)spark2.2默认是用scala—2.11.8编译
集群java版本:jdk-1。8。0_151

资源下载地址
hadoop—2。6。5
HYPERLINK"http：//mirrors。tuna.tsinghua。edu。cn/apache/hadoop/common/hadoop—2.6.5/hadoop-2。6.5。tar。gz"http://mirrors.tuna.tsinghua。edu.cn/apache/hadoop/common/hadoop-2。6。5/hadoop—2。6。5.tar.gz
spark—2.2。0
HYPERLINK"http://mirrors。tuna。tsinghua.edu。cn/apache/spark/spark—2。2.0/spark—2.2.0-bin—hadoop2。7。tgz”http：//mirrors.tuna.tsinghua。edu。cn/apache/spark/spark-2.2。0/spark—2.2。0—bin-hadoop2。6.tgz
scala—2.11.11
https：//downloads。lightbend.com/scala/2.11。11/scala—2.11。11.msi
winutils
HYPERLINK"https://github。com/steveloughran/winutils"https：//github。com/steveloughran/winutils
java
HYPERLINK"http：//www.oracle。com/technetwork/java/javase/downloads/jdk8—downloads-2133151。html"http://www。oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151。html

spark2-csd
http://archive.cloudera。com/spark2/csd/SPARK2_ON_YARN—2。2。0。cloudera1.jar
安装步骤
cdh5.13安装
该安装步骤不是本文重点，详细方法见文档ubuntu14.04搭建clouderaCDH。docx

idea安装
该安装步骤自行百度即可
cdh中安装spark2。2.0
由于cdh集成的spark依然是spark1。6,需要在集群中添加csd，然后安装spark2
将csd文件下载并放到clouderamanager节点的/opt/cloudera/csd/目录下

此处需要将SPARK2_ON_YARN-2.2。0。cloudera1.jar的用户的组修改为cloudera—scm：cloudera-scm
2。重启cloudera-scm—server服务
servicecloudera-scm—serverrestart
在clouderamanager的主机->parcel下

可找到spark2分配激活,并在集群中添加服务即可
配置系统环境变量
安装好scala和java后，分别配置JAVA_HOME和SCALA_HOME
同样,下载好hadoop和spark后配置SPARK_HOME和HADOOP_HOME。
并在path变量中添加％JAVA_HOME%\bin%SCALA_HOME％\bin%HADO