你的位置:首页 > 操作系统

[操作系统]hadoop完全分布式文件系统集群搭建


一、准备工作:

  1、找3台以上的主机(因为HDFS文件系统中保存的文件的blocak在datanode中至少要有3份或3份以上的备份,备份不能放于同一个机架上,更不能放于同一台主机上),我这里使用的是4台,分别是hadoop1、hadoop2、hadoop3和hadoop4。

  2、安装每台主机的基本环境:linux CentOS6.5 64x系统,启动每台主机的系统,配置好网络和主机名《====》ip的映射。

    配置网络的文件在:/etc/sysconfig/network-scripts/ifcfg-eth0文件中

      

      注:每一台主机都要配置,但是IP不能重复。

    主机名与IP的映射文件在:/etc/hosts文件中

      

  3、关闭每台主机的防火墙。注:必须关闭,千万不能忘记,我已经在这个上面吃亏很多次了。

    Command:service iptables stop

  4、同步每台主机的时间,这里使用的是上海交通大学网络中心NTP服务器来同步时间。

    Command:ntpdate ntp.sjtu.edu.cn

 

二、安装并配置zookeeper服务器:这里将主机名为hadoop1、hadoop2和hadoop3的主机定为zookeeper服务器。

  1、在hadoop1中安装zookeeper。自己从zookeeper官方网站上下载,我这里使用的是zookeeper-3.4.6,安装步骤不在这里详解了。

  2、使用vim 编辑器修改zookeeper安装目录中conf下的zoo_sample.cfg文件,即zookeeper的配置文件。vim是vi编辑器的升级版,可自行安装,使用vi也可以。

    Command:vi /root/zookeeper-3.4.6/conf/zoo_sample.cfg

     

  3、在zoo_sample.cfg文件的末尾添加:

    

  4、通过网络拷贝命令将hadoop1上的zookeeper安装目录拷贝到hadoop2和hadoop3的相同目录下:

    Command:      scp /root/zookeeper-3.4.6 root@hadoop2:/root/      scp /root/zookeeper-3.4.6 root@hadoop3:/root/

 

  5、为各zookeeper服务器主机创建/home/zk_data目录

    Command:      mkdir /home/zk_data

  6、为各zookeeper服务器配置myid文件,myid这个文件是不存在的,使用vim编辑器编辑保存后会自动创建该文件,该文件的内容为上述配置文件中为其zookeeper服务器在server.x=hadoopx:2888:3888中server后面的x代表的id,编辑保存即可。每台zookeeper服务器主机都要配置。

    Command:      vim /home/zk_data/myid

    

  7、启动3台zookeeper服务器

    Command:      /root/zookeeper-3.4.6/bin/skServer.sh start

  8、到zookeeper安装目录的父目录中查看日志文件,看是否启动成功

 

三、配置HDFS中的namenode、JN,这里将hadoop1和hadoop4定为namenode,将hadoop1-3定为JN。

  1、在hadoop1主机中安装hadoop,我这里安装的是hadoop-2.5.1。

  2、修改hadoop1配置文件中hdfs-site.cfg文件   

    

   3、修改hadoop1配置文件中core-site.cfg文件

    

  4、通过网络拷贝命令将hadoop1中hadoop的安装目录拷贝到另外三台机器中。

  Command:    scp /root/hadoop-2.5.1 root@hadoop2:/root/    scp /root/hadoop-2.5.1 root@hadoop3:/root/    scp /root/hadoop-2.5.1 root@hadoop4:/root/

  5、启动hadoop1-3主机中的JN

  Command:    /root/hadoop-2.5.1/sbin/hadoop-deamon.sh start journalnode

  6、初始化主机hadoop1中的hadoop

  Command:     /root/hadoop-2.5.1/bin/hdfs namenode -format

  7、关闭hadoop1-3主机中的JN

  Command:    /root/hadoop-2.5.1/sbin/hadoop-daemon.sh stop journalnode

  8、在hadoop1中执行:

  Command:    /root/hadoop-2.5.1/sbin/hadoop-daemon.sh start namenode

  9、在hadoop4中执行:

  Command:    /root/hadoop-2.5.1/bin/hdfs namenode -bootstrapStandby

  10、关闭hadoop1的namenode

  Command:    /root/hadoop-2.5.1/sbin/hadoop-daemon.sh stop namenode

  11、在ZK中创建znode来存储automatic Failover的数据,在hadoop1中执行:

  Command:    /root/hadoop-2.5.1/bin/hdfs zkfc -formatZK

  12、从hadoop1启动namenode

  Command:    /root/hadoop-2.5.1/sbin/start-dfs.sh