你的位置:首页 > 数据库

[数据库]HDP2.4安装(五):集群及组件安装


    HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心,包含pig、hive、phoniex、hbase、storm、spark等大量组件,在最新的2.4版本,监控UI实现与grafana集成。

安装过程:

  • 集群规划
  • 环境准备
  • 软件包下载:  (HDP2.4的安装包过大,推荐离线安装)
  • HDP安装部署

集群规划:

  •  192.168.2.89   hdp1     (ambari)
  •  192.168.2.2     hdp2     (worknode1)
  •  192.168.2.99   hdp3     (worknode2)
  •  192.168.2.21   hdp4     (masterNode)
  •  192.168.2.169 R          (secondary master、zookeeper)

环境准备:

  • 所有节点操作系统安装完成后,hdp1用来部署本地安装下载源,要求所有节点均能通过ssh无密访问
  • 在hdp1机器上,执行命令:vim /etc/hosts   配置文件内容如下图. (要求所有节点机器的hosts文件内容均是如此)
  • hdp1.命令: cd  ~/.ssh    (切换目录)
  • hdp1.命令:ssh-copy-id hdp1   (配置hdp1能无密访问所有节点)
  • hdp1.命令:ssh-copy-id hdp2
  • hdp1.命令:ssh-copy-id hdp3
  • hdp1.命令:ssh-copy-id hdp4
  • hdp1.命令:ssh-copy-id R
  • 注意:其它节点的机器如上配置,必须保证能无密访问hdp1
  • 将hdp安装包上传至hdp1服务器,并切换至该目录(如:/usr/zhu)
  • 命令: tar -zxvf HDP-2.4.2.0-centos7-rpm.tar.gz   (安装包文件解压)
  • 命令: tar -zxvf HDP-UTILS-1.1.0.20-centos7.tar.gz
  • 将解压后的生成的 HDP 和 HDP-UTILS-1.1.0.20 目录copy 到 /var/www/html 目录下
  • 手工创建名为 hdp.rpo 的文件,内容如下 (http://192.168.2.89为安装ambari的机器IP
    [HDP-2.4.2.0]name=HDPVersion-HDP-2.4.2.0baseurl=http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0gpgcheck=1gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1

  • 注意:baseurl 的地址必须与物理的文件能对应起来(即:http://192.168.2.89/HDP/centos7/2.x/updates/2.4.2.0能正确访问)
  • 同样方式,手工创建名为 hdp-util.repo 的文件,内容如下:
    [HDP-UTILS-1.1.0.20]name=HDPUtilsVersion-HDP-UTILS-1.1.0.20baseurl=http://192.168.2.89/HDP-UTILS-1.1.0.20/repos/centos7gpgcheck=1gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1

  • 将 hdp.rpo 和 hdp-util.repo 文件上传至 /etc/yum.repos.d 目录,如下图:
  • 将上传至 hdp1 服务器上的 rpo 文件分发至集群内其它机器节点的相同目录,命令如下:
  • hdp1命令: cd /etc/yum.repos.d
  • hdp1命令: scp hdp.repo hdp-util.repo hdp2:/etc/yum.repos.d  (将文件copy至hdp2)
  • hdp1命令: scp hdp.repo hdp-util.repo hdp3:/etc/yum.repos.d 
  • hdp1命令: scp hdp.repo hdp-util.repo hdp4:/etc/yum.repos.d 
  • hdp1命令: scp hdp.repo hdp-util.repo R:/etc/yum.repos.d 

HDP安装:

  • 在任意机器浏览器上打开ambari web 界面 (http://192.168.2.89:8080   user:admin  psd:admin)
  • 在主页面 ”Create a Cluster“ 版板,选择 ”Launch Install Wizard“,如图:
  • 按向导输入集群名
  • 选择hdp2.4, 我们采用离线安装,在高级选项中将 redhat7 以外的其它选项全部去掉,同时配置本地源地址(对应repo文件中baseUrl地址),如下:
  • 将ambari主机上生成的私钥文件下载到本地 (使用 sz 命令或 winSCP 工具 )
  • 在下一步中输入主机列表(hdp要求带FQDN的机器名,可不用理会),输入机器列表,导入私钥,如下图
  • 选择"Register and Confirm", 忽略弹出的警告提示,继续如下图:
  • 选择 "Next",  进入需要安装的服务选择模板(我主要是为了建HBase集群),选择的服务如下:
  • 选择 ”Next“, 进行服务与主机分配,如下图:
  • "Next" -> 进入 Slaves and client 分配,如下图:
  • ”Next" -> 进入 Customize Services 定义,给 hive metastore 分配数据库,输入数据库名、用户和密码(bigdata)
  • 点击 " Test Connection", 肯定是连不上的,手工创建数据库和用户

  • 执行:create database hive;    (创建hive数据库)
  • 执行:GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'bigdata'; (创建hive用户)
  • 执行:GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'bigdata';
  • 执行:FLUSH PRIVILEGES;  (刷新权限)
  • 执行:quit;

  • 命令:service mysql restart;
  • 验证:mysql -u hive -p     (成功登陆则OK)

  • 点击 " Test Connection", 如上图则OK
  • ambari 监控UI 工具 admin 赋 密码(bigdata),如图:
  • "Next", 在服务安装清单界面,确认无误后,选择 ”Deploy"
  • 等待系统安装,安装结束后如图:
  • 出现如下界面,则表示安装ok