星空网 > 软件开发 > 数据库

7.基于yarn的Spark集群搭建

构造分布式的Spark1.0.2集群

下载Scala 2.10.4,具体下载地址:

http://www.scala-lang.org/download/2.10.4.html

在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载;

安装和配置Scala

我们需要在master、slave1以及slave2上分别安装Scala

7.基于yarn的Spark集群搭建

安装Scala

将Scala安装包拷贝到各台机器上

7.基于yarn的Spark集群搭建

解压

7.基于yarn的Spark集群搭建

新建目录/usr/lib/scala

7.基于yarn的Spark集群搭建

将上述解压之后的文件夹scala-2.10.4拷贝到/usr/lib/scala下

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

修改配置:vim ~/.bashrc

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

修改配置/etc/environment,修改PATH,CLASSPATH和JAVA_HOME

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

在每台机器上安装完成后可以进行一下验证:

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

下载Spark 1.0.2,具体下载地址:

http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz

在master上安装和配置Spark 1.0.2集群

把下载后“spark-1.0.2-bin-hadoop2.tgz”解压到“/usr/local/spark”目录之下:

新建目录/usr/local/spark

7.基于yarn的Spark集群搭建

将安装包拷贝到/usr/local/spark下并解压

7.基于yarn的Spark集群搭建

配置“~/.bashrc”,设置“SPARK_HOME”并把Spark的bin目录加入到PATH之中(修改environment文件),配置完成后使用source命令使配置生效。

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

修改/etc/environment中的PATH

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

进入spark的conf目录:

7.基于yarn的Spark集群搭建 第一步修改slaves文件,首先打开该文件:

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

我们把slaves文件的内容修改为:

7.基于yarn的Spark集群搭建

第二步:配置spark-env.sh

首先把spark-env.sh.template拷贝到spark-env.sh:

7.基于yarn的Spark集群搭建

打开“spark-env.sh”文件

7.基于yarn的Spark集群搭建

在文件末尾加入以下内容

7.基于yarn的Spark集群搭建

slave1和slave2采用和master完全一样的Spark安装配置。

启动Spark分布式集群并查看信息。

第一步:启动Hadoop集群,在master使用jps命令, 在slave1和slave2上使用jps

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

第二步:启动Spark集群

在Hadoop集群成功启动的基础上,启动Spark集群需要使用Spark的sbin目录下“start-all.sh”:

7.基于yarn的Spark集群搭建

使用jps查看集群信息

7.基于yarn的Spark集群搭建

7.基于yarn的Spark集群搭建

web页面访问Spark集群http://master:8080

7.基于yarn的Spark集群搭建

从页面上可以看到Work节点及其信息

此时,进入Spark的bin目录,使用spark-shell控制台

7.基于yarn的Spark集群搭建

此时我们进入了Spark的shell环境,根据输出的信息,我们可以通过“http://master:4040” 从Web的角度看一下SparkUI的情况,如下图所示:

7.基于yarn的Spark集群搭建

当然,你也可以查看一些其它的信息,例如Environment:

7.基于yarn的Spark集群搭建

同时,我们也可以看一下Executors:

7.基于yarn的Spark集群搭建

至此,我们 的Spark集群搭建成功。




原标题:7.基于yarn的Spark集群搭建

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流