你的位置:首页 > 软件开发 > 数据库 > Hadoop集群搭建

Hadoop集群搭建

发布时间:2015-07-11 20:00:10
在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0///( https://archive.apache.org/dist ...

在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为:

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/

//( https://archive.apache.org/dist/hadoop/common/hadoop-2.2.0/)

我们下载的是“hadoop-2.2.0.tar.gz  ”,如下图所示:

Hadoop集群搭建

在master上创建目录/usr/local/hadoop

Hadoop集群搭建

将下载的文件hadoop-2.2.0.tar.gz 通过U盘拷贝到master的该目录下

Hadoop集群搭建

在slave1和slave2上面也创建/usr/local/hadoop目录

Hadoop集群搭建

Hadoop集群搭建

接下来在master节点上配置单机hadoop,配置完成后将配置拷贝到slave1和slave2上即可完成集群搭建

在master上,进入/usr/local/hadoop,解压hadoop-2.2.0.tar.gz

Hadoop集群搭建

接下来在hadoop目录下按照如下命令创建文件夹:

Hadoop集群搭建

接下来开始修改hadoop的配置文件,首先进入Hadoop 2.2.0配置文件区:

(/usr/local/hadoop/hadoop-2.2.0/etc/hadoop)

Hadoop集群搭建

第一步修改配置文件hadoop-env.sh,在其中加入“JAVA_HOME”,如下所示:

Hadoop集群搭建

Hadoop集群搭建

指定我们安装的“JAVA_HOME”,修改为如下所示内容:

Hadoop集群搭建

第二步修改配置文件yarn-env.sh,在其中加入“JAVA_HOME”,如下所示:

Hadoop集群搭建

Hadoop集群搭建

指定我们安装的“JAVA_HOME”,修改为下图:

Hadoop集群搭建

第三步修改配置文件mapred-env.sh,在其中加入“JAVA_HOME”,如下所示:

Hadoop集群搭建 Hadoop集群搭建

指定我们安装的“JAVA_HOME”,如下图所示:

Hadoop集群搭建

第四步修改配置文件slaves,如下所示:

Hadoop集群搭建

Hadoop集群搭建

我们设置Hadoop集群中的从节点为slave1和slave2,把slaves文件的内容修改为:

Hadoop集群搭建

第五步修改配置文件core-site.

Hadoop集群搭建

Hadoop集群搭建

把core-site.

Hadoop集群搭建

上述是core-site.

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.

第六步修改配置文件hdfs-site.

Hadoop集群搭建

Hadoop集群搭建

把hdfs-site.

Hadoop集群搭建

上述是hdfs-site.

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.

第七步修改配置文件mapred-site.

拷贝一份mapred-site.

Hadoop集群搭建

打开mapred-site.

Hadoop集群搭建

Hadoop集群搭建

把mapred-site.

Hadoop集群搭建

上述是mapred-site.

http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.

第八步修改配置文件yarn-site.

Hadoop集群搭建

Hadoop集群搭建

把yarn-site.

Hadoop集群搭建

注意:在主机名前面多空格大错特错

上述内容是yarn-site.

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-common/yarn-default.

使用scp命令把master上安装和配置的Hadoop的各项内容拷贝到slave1和slave2上

Hadoop集群搭建

Hadoop集群搭建

最后分别在三台机器上配置/etc/profile和~/.bashrc:

修改系统配置文件,修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中,修改完后使用source命令使配置生效。

以master为例:

(1)修改/etc/profile

Hadoop集群搭建

在末尾加上如下语句,保存并退出:

Hadoop集群搭建

使用source命令让配置生效

Hadoop集群搭建

(2)修改~/.bashrc

Hadoop集群搭建

修改为如下,保存并退出:

Hadoop集群搭建

使用source命令让配置生效

Hadoop集群搭建

在另外两台机器上也做同样更改(slave1、slave2)。

注:系统配置文件最好是手动更改,不要在机器中互相拷贝,以免出现系统崩溃。

启动并验证Hadoop分布式集群

第一步:格式化hdfs文件系统:

进入bin目录下

Hadoop集群搭建

输入如下格式化命令

Hadoop集群搭建

Hadoop集群搭建

第二步:进入sbin中启动hdfs,执行如下命令:

Hadoop集群搭建

启动过程如下:

Hadoop集群搭建输入yes继续。

启动完成后,输入jps可以发现,master上启动了NameNode和SecondaryNameNode;

Hadoop集群搭建

在slave1和slave2上均启动了DataNode:

Hadoop集群搭建

Hadoop集群搭建

此时访问http://master:50070 登录Web控制可以查看HDFS集群的状况:

Hadoop集群搭建

Hadoop集群搭建

从控制台我们可以看见有两个DataNode,此时我们点击“Live Nodes”查看一下其信息:

Hadoop集群搭建

从控制台中看到了我们的两个Datanode节点slave1和slave2,这正是我们预期中的!

第三步 启动yarn集群

Hadoop集群搭建

使用jps命令可以发现master机器上启动了ResourceManager进程

Hadoop集群搭建

而在slave1和slave2上则分别启动了NodeManager进程:

Hadoop集群搭建

Hadoop集群搭建

在master上访问http://master:8088 可以通过Web控制台查看ResourceManager运行状态:

Hadoop集群搭建

在slave1上访问http://slave1:8042 可以通过Web控制台查看slave1上的NodeManager运行状态:

Hadoop集群搭建

在slave2上访问http://slave2:8042 可以通过Web控制台查看slave2上的NodeManager运行状态:

Hadoop集群搭建


原标题:Hadoop集群搭建

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

可能感兴趣文章

我的浏览记录