【源】从零自学Hadoop：集群搭建

阅读目录

序
集群搭建
监控
系列索引

本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。

文章是哥(mephisto)写的，SourceLink

序

　　上一篇，我们把Ambari的环境基本搭建好了，那么我们趁热打铁，打造我们的第一个HDP集群，这样，离我们下一步就越来越近了，在安装中还是会碰到很多想不到的情况的。所以，注意分析，找到解决方法很重要。
　　对了，这里我们还是多搭建了一个机器H34,怕集群机器不够。大家按照原来的步骤在做一个吧。

集群搭建

一：登陆
　　使用我们设置的Ambari服务器登陆，还记得么，在H30上面。
二：主界面
　　我们看到圈起来的地方就是我们要搭建集群的地方。

三：新建集群
　　这里，我们使用MyCluster作为我们第一个集群的名称。
四：选择HDP版本和源
　　我们当然选择最新的HDP2.3，玩就玩最新的，要不老是在别人后面，多不好啊。
　　这里我们得设置HDP和 HDP-UTILS的源，我们已经搭建好了仓库，可以直接使用本地源了。
五：将SSH私有Key放到本机
　　由于是页面登陆，当然如果H30开启了GUI界面，是可以不用这个操作的。
　　目前我们使用的没有GUI界面的Linux，所以，得在浏览器使用的机器上能使用的到ssh private key。
　　过程很简单，就不上图了。
六：选择带集群的机器
　　这里我们选择了事前准备好的H31,H32,H33这3台机器，由于本机的性能一般，很快内存，IO就占满了，所以没有使用很多的机器做集群。
七：修改ambari.repo文件
vim /etc/yum.repos.d/ambari.repo
　　将线上库改成本地的http资源。
八：Confirm Hosts
　　核实主机群。确保这里待集群主机有符合的运行环境。
九：选择待安装库
　　我们根据自己的需要来选择带安装的。
十：集群结构搭建
　　我们选择H31作为主NameNode,H32作为Second NameNode。
十一：集群结构搭建2
　　选择H31，H32作为NodeManager,H33,H34作为DataNode
十二：自定义服务群
　　这里，一半NameNode需要比较大内存的，但是没办法，所以这里也不自定义修改了，就那么多，全用了。

十三：Review
　　Review下我们的配置情况。
十四：Deploy
　　开始安装等环节了。
十五：Deploy2
　　我们可以看到success了。

十六：Summary
　　安装过程的总结。

监控

一：仪表盘
　　在这里，我们可以全面，直观的看到整个集群的运行情况，可以大大的提高了运维的效率。
二：服务
　　在这里，可以看到例如HDFS,Zookeeper,SparK这些服务的情况。

三：Hosts
　　我们可以看到，集群中所有的主机信息，状态。
四：报警
　　如果集群中出现了什么问题，这里是可以实时的监控的到的，很是方便。
　　　　　　　　　　　　到此，我们这章节的内容已经完毕，基本上环境搭建的部分告一段落，后面我们就是对HDP的应用了。