你的位置:首页 > 数据库

[数据库]Hadoop自学系列集(四)

  久等了,近期公司比较忙,学习的时间都没有啊,到今日才有时间呢!!!好了,下面就跟着笔者开始配置Hadoop集群吧。

  hosts文件和SSH免密码登录配置好了之后,现在进入Hadoop安装目录,修改一些配置文件,修改配置还是相对简单的,一下是需要修改的文件内容(当然这里只是学习时的配置,更加深入的配置笔者也不会了,嘿嘿嘿),四台机相同配置,以下是一些修改的文件(红色为修改部分):

  conf/hadoop-env.sh:

  export JAVA_HOME=/usr/local/java/jdk1.6.0_45   ##原本是注释的,解开注释,修改一下路径即可

  conf/core-site.:

   <?

  <?

  <!-- Put site-specific property overrides in this file. -->

  <configuration>
    <property>

      <!-- 用户DFS命令模块中指定默认的文件系统协议 -->
      <name>fs.default.name</name>
      <value>hdfs://hadoop.master:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/temp</value>
    </property>
  </configuration>

 

  conf/hdfs-site.:

  <?

  <?

  <!-- Put site-specific property overrides in this file. -->

  <configuration>
    <property>
      <!-- 默认Block副本数,设置为副节点个数,这里为3个 -->
      <name>dfs.replication</name>
      <value>3</value>
    </property>
  </configuration>

 

  conf/mapred-site.:

  <?

  <?

  <!-- Put site-specific property overrides in this file. -->

  <configuration>
    <property>
      <name>mapred.job.tracker</name>
      <value>hadoop.master:9001</value>
    </property>
  </configuration>

  conf/masters(填写主节点主机名即可):

  hadoop.master

  conf/slaves(填写从节点主机名,一行一个):

  hadoop.slave1

  hadoop.slave2

  hadoop.slave3

  

  至此,配置已经修改完了,接下来是启动。在首次启动之前,先格式化NameNode,之后启动就不需要格式化了,命令如下:

  hadoop namenode -format

  接下来,启动Hadoop集群:

  start-all.sh

  启动后截图如下:

  

  在启动过程中由于配置了SSH免密码登录,是不会询问slaves机器上的密码的。

  集群测试:

  接下来我们运行一下hadoop-example.jar中自带的wordCount程序,用户统计单词出现次数,步骤如下:

  1.新建一个test.txt,内容可自行填写:

  

 

  2.在HDFS系统中创建一个文件夹input,命令如下:

    hadoop fs -mkdir /user/hadoop/input1

  3.上传刚刚创建的test.txt至HDFS系统中的input文件夹,命令如下:
    hadoop fs -put /usr/local/hadoop/test.txt /user/hadoop/input1/

  4.查看文件是否已经上传至HDFS中,命令如下:

    hadoop fs -ls /user/hadoop/input1/

  5.运行hadoop-example.jar,命令如下:

    cd /usr/local/hadoop

    hadoop -jar hadoop-example-1.2.1.jar wordcount /user/hadoop/input1/test.txt /user/hadoop/output1

  6.过程截图:

        

    

   7.运行完毕后,可以查看结果了,键入以下命令,结果截图也在下面:

    hadoop fs -text /user/hadoop/output1/part-r-00000

    

    OK!至此Hadoop集群就安装结束了,而且也测试过了,就先写到这里了。