Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo

近期为了分析国内航空旅游业常见安全漏洞，想到了用大数据来分析，其实数据也不大，只是生产项目没有使用Hadoop，因此这里实际使用一次。

先看一下通过hadoop分析后的结果吧，最终通过hadoop分析国内典型航空旅游业厂商的常见安全漏洞个数的比例效果如下：

第一次正式使用Hadoop，肯定会遇到非常多的问题，参考了很多网络上的文章，我把自己从0搭建到使用的过程记录下来，方便以后自己或其他人参考。

之前简单用过storm，适合实时数据的处理。hadoop更偏向静态数据的处理，网上很多hadoop的教程，但有的版本比较老：比如有的是属于hadoop1.x时代，有的本机是ubuntu上安装，有的介绍理论，有的直接介绍代码demo。我的电脑是WIN7，打算在测试服务器linux Red Hat系列下搭建集群，然后通过本机win7开发并联调MapReduce程序。由于内容比较多，这篇博文主要写理论和Hadoop伪集群/集群安装过程以及Eclipse的插件安装，后面有时间再写一篇Eclipse开发的DEMO以及如何通过hadoop分析的航空旅游业典型安全漏洞。

下面主要写以下部分，理论知识描述可能会有误，主要是方便以后自己或别人参考：

一、Hadoop版本介绍

二、Hadoop名词理论介绍

三、SSH无密码登陆Linux

四、Hadoop单机安装

五、Hadoop单机模式运行

六、Hadoop伪分布式部署

七、Hadoop集群部署

八、Eclipse插件安装

九、安装调试过程中我遇到的问题

一、Hadoop版本介绍

Hadoop有1.x和2.x两个版本，参考别人官方一点的说法：Hadoop 1.x由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成；而Hadoop 2.x则包含一个支持NameNode横向扩展的HDFS，一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce，YARN它将JobTracker中的资源管理和作业控制功能分开，分别由组件ResourceManager和ApplicationMaster实现，其中，ResourceManager负责所有应用程序的资源分配，而ApplicationMaster仅负责管理一个应用程序。

他们的架构做了较大调整，内部细节感兴趣可以去研究，但对开发人员最直观看到的就是配置文件的参数名称不一样了，具体可以参考：

http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/

二、Hadoop名词理论介绍

系统角色：ResourceManager ，ApplicationMaster ， NodeManager

应用名称：Job

组建接口：Mapper ， Reducer

HDFS：Namenode ，Datanode

Hadop1.x时代系统角色有JobTracker和TaskTracker的概念，Hadoop2.X时代用Yarn替换了这两个角色。TaskTracker 是 Map-reduce 集群中每台机器都有的一个部分，他做的事情主要是监视自己所在机器的资源情况。TaskTracker 同时监视当前机器的 tasks 运行状况。TaskTracker 需要把这些信息通过 heartbeat 发送给 JobTracker，JobTracker 会搜集这些信息以给新提交的 job 分配运行在哪些机器上。

ResourceManager 是一个中心的服务，它做的事情是调度、启动每一个 Job 所属的 ApplicationMaster、另外监控 ApplicationMaster 的存在情况

NodeManager 功能比较专一，就是负责 Container 状态的维护，并向 ResourceManager 保持心跳。

ApplicationMaster 负责一个 Job 生命周期内的所有工作，类似老的框架中 JobTracker。但注意每一个 Job（不是每一种）都有一个 ApplicationMaster，它可以运行在 ResourceManager 以外的机器上。

NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。

Datanode是文件系统的工作节点，他们根据客户端或者是namenode的调度存储和检索数据，并且定期向namenode发送他们所存储的块(block)的列表。

hadoop系统中，master/slaves的一般对应关系是：

原标题：Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo

关键词：linux