星空网 > 软件开发 > 数据库

[Hadoop in Action] 第2章 初识Hadoop

  • Hadoop的结构组成
  • 安装Hadoop及其3种工作模式:单机、伪分布和全分布
  • 用于监控Hadoop安装的Web工具
 
1、Hadoop的构造模块
 
(1)NameNode(名字节点)
     Hadoop在分布式计算和分布式存储中都采用了主/从结构。NameNode位于HDFS的主端,它指导从端的DataNode执行底层的I/O任务。NameNode是HDFS的书记员,它跟踪文件如何被分割成文件块,而这些块又被哪些节点存储,以及分布式文件系统的整体运行状态是否正常。
     运行NameNode消耗大量的内存和I/O资源。因此,为了减轻机器的负载,驻留NameNode的服务器通常不会存储用户数据或执行MapReduce程序的计算任务,就意味着NameNode服务器不会同时是DataNode或者TaskTracker。
     不过NameNode的重要性也带来了一个负面影响——hadoop集群的单点失效。对于任何其他的守护进程,如果它们所驻留的节点发生软件或硬件失效,hadoop集群很可能还会继续平稳运行,不然还可以快速重启这个节点。但这样的方法并不适用于NameNode!
 
(2)DataNode(数据节点)
     每个集群上的从节点都会驻留一个DataNode守护进程,来执行分布式文件系统的繁重工作——将HDFS数据块读取或写入到本地文件系统的实际文件中。当希望对HDFS文件进行读写时,文件被分割为多个块,由NameNode告知客户端每个数据块驻留在哪个DataNode。客户端直接与DataNode守护进程通信,来处理与数据块相对应的本地文件。而后,DataNode会与其他DataNode进行通信,复制这些数据块以实现冗余。
     默认情况下每个数据块有3个副本,这确保了如果任何一个DataNode奔溃或者无法通过网络访问时,仍然可以读取这些文件。
     DataNode不断向NameNode报告。初始化时,每个DataNode将当前存储的数据块告知NameNode。在这个初始映射完成后,DataNode仍会不断地更新NameNode,为之提供本地修改的相关信息,同时接收指令创建、移动或删除本地磁盘上的数据块。
 
(3)Secondary NameNode(次名节点)
   Secondary NameNode是一个用于监测HDFS集群状态的辅助守护进程。像NameNode一样,每个集群有一个SNN,通常也独占一台服务器,该服务器不会运行其他的DataNode或TaskTracker守护进程。SNN与NameNode的不同在于它不接收或记录HDFS的任务实时变化。相反,它与NameNode通信,根据集群所配置的时间间隔获取HDFS元数据的快照。
     如前所述,NameNode是Hadoo集群的单一故障点,而SNN的快照可以有助于减少停机的时间并降低数据丢失的风险。然而,NameNode的失效处理需要人工的干预,即手动地重新配置集群,将SNN用作主要的NameNode。
 
(4)JobTracker(作业跟踪节点)
     JobTracker守护进程是应用程序和Hadoop之间的纽带。一旦提交代码到集群上,JobTracker就会确定执行计划,包括决定处理哪些文件,为不同的任务分配节点以及监控所有任务的运行。如果任务失败,JobTracker将自动重启任务,但所分配的节点可能会不同,同时受到预定义的重试次数限制。
     每个Hadoop集群只有一个JobTracker守护进程,它通常运行在服务器集群的主节点上。
 
(5)TaskTracker(任务跟踪节点)
     与存储的守护进程一样,计算的守护进程也遵循主/从架构:JobTracker作为主节点,监测MapReduce作业的整个执行过程;同时,TaskTracker管理各个任务在每个从节点上的执行情况。
     每个TaskTracker负责执行由JobTracker分配的单项任务。虽然每个从节点上仅有一个TaskTracker,但每个TaskTracker可以生成多个JVM(Java虚拟机)来并行处理许多map或reduce任务。
     TaskTracker的一个职责是持续不断地与JobTracker通信。如果JobTracker在指定的时间内没有收到来自TaskTracker的“心跳”,它会假定TaskTracker已经奔溃了,进而重新提交相应的任务到集群中的其他节点中。
 
典型的Hadoop集群的拓扑结构的特点是在主节点上运行NameNode和JobTracker的守护进程,并使用独立的节点运行SNN以防主节点失效。在小型集群中,SNN也可以驻留在某个从节点上,而在大型集群中,连NameNode和JobTracker都会分别驻留在两台机器上。每个从节点均驻留一个DataNode和TaskTracker,从而在存储数据的同一节点上执行任务。
 
2、为Hadoop集群安装SSH
 
生成密钥对:
ssh-keygen -t rsa
 
将公钥分布并登录验证:
[主节点]
scp ~/.ssh/id_rsa.pub hadoop-user@target:~/master-key
 
[从节点]
mkdir ~/.ssh
chmod 700 ~/.ssh
mv ~/master-key ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
 
验证登录:
ssh target
 
3、运行Hadoop
 
在运行Hadoop之前需要做一些配置。需要做的第一件事就是指定包括主节点在内所有节点上Java的位置,即在hadoop-env.sh中定义JAVA_HOME环境变量使之指向Java安装目录。
Hadoop0.20之后的设置主要包含在Hadoop2.x的设置新增了yarn-site. 
(1)本地单机模式
     单机模式是Hadoop的默认模式,在这种默认模式下所有3个     该模式主要用于开发调试MapReduce程序的应用逻辑,而不会与守护进程交互,避免引起额外的复杂性。
 
(2)伪分布模式
     伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。
     该模式在单机模式之上增加了代码调试功能,允许检查内存使用情况、HDFS输入输出,以及其他的守护进程交互。
 

代码清单 伪分布模式下3个配置文件的示例
 
 1 core-site. 2 <property> 3   <name>fs.default.name</name> 4   <value>hdfs://localhost:9000</value> 5 </property> 6  7 mapred-site. 8 <property> 9   <name>mapred.job.tracker</name>10   <value>localhost:9001</value>11 </property>12 13 hdfs-site.14 <property>15   <name>dfs.replication</name>16   <value>1</value>17 </property>

 


在core-site.在hdfs-site. 

 
还需要在文件masters中指定SNN的位置,并在文件slaves中指定从节点的位置。
cat masters
localhost
cat slaves

localhost
 
格式化HDFS:
hadoop namenode -format
 
 启动Hadoop:
start-all.sh
 
关闭Hadoop:
stop-all.sh
 
(3)全分布模式
 
使用如下的服务器名称:
  • master——集群的主节点,驻留NameNode和JobTracker守护进程
  • backup——驻留SNN守护进程的节点
  • hadoop1,hadoop2,hadoop3…——集群的从节点,驻留DataNode和TaskTracker守护进程
 


代码清单 全分布模式下3个配置文件的示例
 
 1 core-site. 2 <property> 3   <name>fs.default.name</name> 4   <value>hdfs://master:9000</value> 5 </property> 6  7 mapred-site. 8 <property> 9   <name>mapred.job.tracker</name>10   <value>master:9001</value>11 </property>12 13 hdfs-site.14 <property>15   <name>dfs.replication</name>16   <value>3</value>17 </property>



 
在core-site.在hdfs-site.

 
还需要在文件masters中指定SNN的位置,并在文件slaves中指定从节点的位置。
cat masters

backup
cat slaves
hadoop1
hadoop2
hadoop3
...
 
格式化HDFS:
hadoop namenode -format
 
 启动Hadoop:
start-all.sh
 
关闭Hadoop:

stop-all.sh
 
4、基于Web的集群用户界面
 
NameNode通过端口50070提供常规报告,描绘集群上HDFS的状态视图。
JobTracker通过端口50030提供一个MapReduce作业运行时状态的近似视图。 
 
 [转载请注明] http://www.cnblogs.com/zhengrunjian/



原标题:[Hadoop in Action] 第2章 初识Hadoop

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。
相关文章
我的浏览记录
最新相关资讯
海外公司注册 | 跨境电商服务平台 | 深圳旅行社 | 东南亚物流