你的位置:首页 > 软件开发 > 数据库 > 搭建Spark的单机版集群

搭建Spark的单机版集群

发布时间:2016-01-18 10:00:14
一、创建用户# useradd spark# passwd spark 二、下载软件JDK,Scala,SBT,Maven版本信息如下:JDK jdk-7u79-linux-x64.gzScala scala-2.10.5.tgzSBT sbt-0.13.7.zipMaven ...

搭建Spark的单机版集群

一、创建用户

# useradd spark

# passwd spark

 

二、下载软件

JDK,Scala,SBT,Maven

版本信息如下:

JDK jdk-7u79-linux-x64.gz

Scala scala-2.10.5.tgz

SBT sbt-0.13.7.zip

Maven apache-maven-3.2.5-bin.tar.gz

注意:如果只是安装Spark环境,则只需JDK和Scala即可,SBT和Maven是为了后续的源码编译。

 

三、解压上述文件并进行环境变量配置

# cd /usr/local/

# tar xvf /root/jdk-7u79-linux-x64.gz

# tar xvf /root/scala-2.10.5.tgz

# tar xvf /root/apache-maven-3.2.5-bin.tar.gz

# unzip /root/sbt-0.13.7.zip

修改环境变量的配置文件

# vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_79export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport SCALA_HOME=/usr/local/scala-2.10.5export MAVEN_HOME=/usr/local/apache-maven-3.2.5export SBT_HOME=/usr/local/sbtexport PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$MAVEN_HOME/bin:$SBT_HOME/bin

原标题:搭建Spark的单机版集群

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

可能感兴趣文章

我的浏览记录