你的位置:首页 > 数据库

[数据库]7.基于yarn的Spark集群搭建

构造分布式的Spark1.0.2集群

下载Scala 2.10.4,具体下载地址:

http://www.scala-lang.org/download/2.10.4.html

在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载;

安装和配置Scala

我们需要在master、slave1以及slave2上分别安装Scala

wps786C.tmp

安装Scala

将Scala安装包拷贝到各台机器上

wps786D.tmp

解压

wps786E.tmp

新建目录/usr/lib/scala

wps786F.tmp

将上述解压之后的文件夹scala-2.10.4拷贝到/usr/lib/scala下

wps787F.tmp

wps7880.tmp

修改配置:vim ~/.bashrc

wps7881.tmp

wps7882.tmp

wps7883.tmp

修改配置/etc/environment,修改PATH,CLASSPATH和JAVA_HOME

wps7884.tmp

wps7895.tmp

wps7896.tmp

wps7897.tmp

在每台机器上安装完成后可以进行一下验证:

wps7898.tmp

wps7899.tmp

下载Spark 1.0.2,具体下载地址:

http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz

在master上安装和配置Spark 1.0.2集群

把下载后“spark-1.0.2-bin-hadoop2.tgz”解压到“/usr/local/spark”目录之下:

新建目录/usr/local/spark

wps789A.tmp

将安装包拷贝到/usr/local/spark下并解压

wps78AA.tmp

配置“~/.bashrc”,设置“SPARK_HOME”并把Spark的bin目录加入到PATH之中(修改environment文件),配置完成后使用source命令使配置生效。

wps78AB.tmp

wps78AC.tmp

wps78AD.tmp

修改/etc/environment中的PATH

wps78AE.tmp

wps78AF.tmp

wps78B0.tmp

进入spark的conf目录:

wps78C1.tmp 第一步修改slaves文件,首先打开该文件:

wps78C2.tmp

wps78C3.tmp

我们把slaves文件的内容修改为:

wps78C4.tmp

第二步:配置spark-env.sh

首先把spark-env.sh.template拷贝到spark-env.sh:

wps78C5.tmp

打开“spark-env.sh”文件

wps78C6.tmp

在文件末尾加入以下内容

wps78C7.tmp

slave1和slave2采用和master完全一样的Spark安装配置。

启动Spark分布式集群并查看信息。

第一步:启动Hadoop集群,在master使用jps命令, 在slave1和slave2上使用jps

wps78C8.tmp

wps78C9.tmp

wps78CA.tmp

wps78CB.tmp

第二步:启动Spark集群

在Hadoop集群成功启动的基础上,启动Spark集群需要使用Spark的sbin目录下“start-all.sh”:

wps78DC.tmp

使用jps查看集群信息

wps78DD.tmp

wps78DE.tmp

在web页面访问Spark集群http://master:8080

wps78DF.tmp

从页面上可以看到Work节点及其信息

此时,进入Spark的bin目录,使用spark-shell控制台

wps78EF.tmp

此时我们进入了Spark的shell环境,根据输出的信息,我们可以通过“http://master:4040” 从Web的角度看一下SparkUI的情况,如下图所示:

wps78F0.tmp

当然,你也可以查看一些其它的信息,例如Environment:

wps78F1.tmp

同时,我们也可以看一下Executors:

wps78F2.tmp

至此,我们 的Spark集群搭建成功。