你的位置:首页 > 数据库

[数据库]Hadoop集群搭建


在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为:

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/

//( https://archive.apache.org/dist/hadoop/common/hadoop-2.2.0/)

我们下载的是“hadoop-2.2.0.tar.gz  ”,如下图所示:

wps7F9.tmp

在master上创建目录/usr/local/hadoop

wps7FA.tmp

将下载的文件hadoop-2.2.0.tar.gz 通过U盘拷贝到master的该目录下

wps80B.tmp

在slave1和slave2上面也创建/usr/local/hadoop目录

wps80C.tmp

wps80D.tmp

接下来在master节点上配置单机hadoop,配置完成后将配置拷贝到slave1和slave2上即可完成集群搭建

在master上,进入/usr/local/hadoop,解压hadoop-2.2.0.tar.gz

wps80E.tmp

接下来在hadoop目录下按照如下命令创建文件夹:

wps81E.tmp

接下来开始修改hadoop的配置文件,首先进入Hadoop 2.2.0配置文件区:

(/usr/local/hadoop/hadoop-2.2.0/etc/hadoop)

wps81F.tmp

第一步修改配置文件hadoop-env.sh,在其中加入“JAVA_HOME”,如下所示:

wps820.tmp

wps821.tmp

指定我们安装的“JAVA_HOME”,修改为如下所示内容:

wps832.tmp

第二步修改配置文件yarn-env.sh,在其中加入“JAVA_HOME”,如下所示:

wps833.tmp

wps834.tmp

指定我们安装的“JAVA_HOME”,修改为下图:

wps835.tmp

第三步修改配置文件mapred-env.sh,在其中加入“JAVA_HOME”,如下所示:

wps836.tmp wps837.tmp

指定我们安装的“JAVA_HOME”,如下图所示:

wps838.tmp

第四步修改配置文件slaves,如下所示:

wps839.tmp

wps849.tmp

我们设置Hadoop集群中的从节点为slave1和slave2,把slaves文件的内容修改为:

wps84A.tmp

第五步修改配置文件core-site.

wps84B.tmp

wps84C.tmp

把core-site.

wps84D.tmp

上述是core-site.

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.

第六步修改配置文件hdfs-site.

wps84E.tmp

wps85F.tmp

把hdfs-site.

wps860.tmp

上述是hdfs-site.

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.

第七步修改配置文件mapred-site.

拷贝一份mapred-site.

wps861.tmp

打开mapred-site.

wps862.tmp

wps873.tmp

把mapred-site.

wps874.tmp

上述是mapred-site.

http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.

第八步修改配置文件yarn-site.

wps875.tmp

wps876.tmp

把yarn-site.

wps886.tmp

注意:在主机名前面多空格大错特错

上述内容是yarn-site.

http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-common/yarn-default.

使用scp命令把master上安装和配置的Hadoop的各项内容拷贝到slave1和slave2上

wps887.tmp

wps888.tmp

最后分别在三台机器上配置/etc/profile和~/.bashrc:

修改系统配置文件,修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中,修改完后使用source命令使配置生效。

以master为例:

(1)修改/etc/profile

wps889.tmp

在末尾加上如下语句,保存并退出:

wps88A.tmp

使用source命令让配置生效

wps88B.tmp

(2)修改~/.bashrc

wps88C.tmp

修改为如下,保存并退出:

wps88D.tmp

使用source命令让配置生效

wps89E.tmp

在另外两台机器上也做同样更改(slave1、slave2)。

注:系统配置文件最好是手动更改,不要在机器中互相拷贝,以免出现系统崩溃。

启动并验证Hadoop分布式集群

第一步:格式化hdfs文件系统:

进入bin目录下

wps89F.tmp

输入如下格式化命令

wps8A0.tmp

wps8A1.tmp

第二步:进入sbin中启动hdfs,执行如下命令:

wps8B1.tmp

启动过程如下:

wps8B2.tmp输入yes继续。

启动完成后,输入jps可以发现,master上启动了NameNode和SecondaryNameNode;

wps8B3.tmp

在slave1和slave2上均启动了DataNode:

wps8B4.tmp

wps8B5.tmp

此时访问http://master:50070 登录Web控制可以查看HDFS集群的状况:

wps8C6.tmp

wps8C7.tmp

从控制台我们可以看见有两个DataNode,此时我们点击“Live Nodes”查看一下其信息:

wps8C8.tmp

从控制台中看到了我们的两个Datanode节点slave1和slave2,这正是我们预期中的!

第三步 启动yarn集群

wps8D9.tmp

使用jps命令可以发现master机器上启动了ResourceManager进程:

wps8DA.tmp

而在slave1和slave2上则分别启动了NodeManager进程:

wps8DB.tmp

wps8DC.tmp

在master上访问http://master:8088 可以通过Web控制台查看ResourceManager运行状态:

wps8DD.tmp

在slave1上访问http://slave1:8042 可以通过Web控制台查看slave1上的NodeManager运行状态:

wps8ED.tmp

在slave2上访问http://slave2:8042 可以通过Web控制台查看slave2上的NodeManager运行状态:

wps8EE.tmp