你的位置:首页 > Java教程

[Java教程]Nutch2.x+Hbase环境部署和基本使用


     由于项目想借助Nutch来做网络爬虫,所以一番研究,发现网上文档比较散,学习的很艰难,因此总结了一些,放上来与大家交流。

1       环境部署

Nutch有1.x系列和2.x系列,主要区别是2.x使用了Gora作为持久层媒介,可以将数据持久化到关系型数据库,更详细的介绍参考Nutch官网。

这里主要介绍采用Nutch2.3.1+HBase的方式进行部署,HBase又依赖于HDFS和Zookeeper,实际上,Nutch只是将HBase视为持久层,而并不关心HBase是单机模式还是分布模式,HBase又是将文件存储于HDFS,将元数据(表信息)存储于zookeeper,只不过单机模式下,把文件系统视为HDFS,而zookeeper可以使用内置,也可以使用外置的zookeeper。

安装Nutch

解压缩源码包:

tar –zxf apache-nutch-2.3.1-src.tar.gz


进入到解压缩后的目录

cd apache-nutch-2.3.1


执行ant进行编译

ant


(如果解压缩的是bin包,则无须ant编译,路径/…/apache-nutch-2.3.1即为$ NUTCH_RUNTIME_HOME。实际上2.x已经没有bin包了,只有1.x才有bin包。)

编译需要较长时间(主要是下载依赖特别慢,有说法是修改下载源地址,我试过反而会下载失败),编译完成后,将生成/runtime/local目录,可以设置环境变量:

export NUTCH_RUNTIME_HOME=/home/apache/apache-nutch-2.3.1/runtime/local

export PATH=$PATH:$NUTCH_RUNTIME_HOME/bin


输入bin/nutch 看到提示信息说明安装成功

安装Ant

如果在执行ant时提示没有ant命令,则需要先安装ant:

解压缩tar包

tar –zxf apache-ant-1.9.6-bin.tar.gz


添加环境变量

export ANT_HOME=/home/apache-ant-1.9.6/ant

export PATH=/home/apache-ant-1.9.6/bin:$PATH


输入ant –version看到版本号说明安装成功

 

安装HBase

解压缩tar包

tar –zxf hbase-0.98.8-hadoop2-bin.tar.gz


添加环境变量

export HBASE_HOME=/home/hbase-0.98.8-hadoop2


 

2       配置方法

配置单机模式下的HBase

单机模式下,不需要HDFS和Zookeeper,使用本地文件系统作为存储介质。

(单机模式需要使用端口2181,理论上应该是要求该端口未被占用。)

修改$HBASE_HOME/conf/ hbase-site.

在<configuration>标签中添加配置:

<property>

    <name>hbase.rootdir</name>

    <value>file:///home/testuser/hbase</value>

  </property>

  <property>

    <name>hbase.zookeeper.property.dataDir</name>

    <value>/home/testuser/zookeeper</value>

  </property>


这里配置的rootdir是HBase存储文件的存储路径,dataDir是HBase使用zookeeper存放的元数据的存储路径。

使用命令$HBASE_HOME/bin/start-hbase.sh启动HBase,并使用jps命令查看进程,发现有HMaster进程则说明启动成功,可以在$HBASE_HOME/logs目录下找到运行日志。

 

单机模式下只能使用本地存储文件作为存储介质,且只能使用内置的zookeeper,不能使用外置的HDFS和zookeeper。

 

配置集群模式下的HBase

1、修改$HBASE_HOME/conf/ hbase-site.

在<configuration>标签中添加配置:

<property>

    <name>hbase.rootdir</name>

    <value>hdfs://192.168.1.92:9000/hbase</value>

</property>

<property> 

    <name>hbase.cluster.distributed</name> 

    <value>true</value>     

</property>


hbase.cluster.distributed属性为false代表单机模式,默认为fasle,置为true则代表分布模式,此时的hbase.rootdir要配置为HDFS的路径,这里的192.168.1.92:9000是HDFS的ip和端口,根据实际情况配置。如果没有那么需要搭建Hadoop2的环境。

2、修改$HBASE_HOME/conf/ hbase-env.sh为HBase设置jdk路径:

增加(或取消注释)

export JAVA_HOME=/usr/java/jdk1.7.0_71/


 

使用命令$HBASE_HOME/bin/start-hbase.sh启动HBase,这是你会发现一共启动了三项,使用jps命令查看进程,发现有HMaster、HRegionServer、H QuorumPeer进程则说明启动成功,可以在$HBASE_HOME/logs目录下分别找到运行日志。

 

3、(可选)使用外置的Zookeeper

在集群模式下,可以使用外置的Zookeeper,也可以使用HBase内置的Zookeeper。刚才的H QuorumPeer进程就是HBase启动的内置Zookeeper。使用外置的Zookeeper时新增如下配置:

修改$HBASE_HOME/conf/ hbase-env.sh告诉HBase使用外置的zookeeper:

增加(或取消注释)

export HBASE_MANAGES_ZK=false


在启动HBase之前,先启动你的zookeeper即可。默认HBase会向localhost:2181寻找zookeeper,如果想自定义ip和端口,则可以在$HBASE_HOME/conf/ hbase-site.

<property>

    <name>hbase.zookeeper.quorum</name>

    <value>192.168.1.92</value>

</property>

<property> 

    <name>hbase.zookeeper.property.clientPort</name> 

    <value>2181</value>     

</property>


启动外置zookeeper后,再启动HBase,这是只有两个进程启动HMaster、HRegionServer,同样可以在$HBASE_HOME/logs目录下分别找到运行日志。

Nutch2.x关联HBase

官方建议Nutch2.3.1使用HBase0.98.8

在关联HBase之前,先配置你的Nutch,此配置类似Nutch1.x的配置:

1、修改$NUTCH_RUNTIME_HOME/conf/nutch-site.

新增如下属性:

<property>

 <name>http.agent.name</name>

 <value>My Nutch Spider</value>

</property>


2、(可选)设置url过滤规则,修改$NUTCH_RUNTIME_HOME/conf/regex-urlfilter.txt

添加类似如下正则匹配:

+^http://([a-z0-9]*\.)*nutch.apache.org/

+号代表匹配上的添加,-号代表匹配上的不添加。

 

3、为Nutch配置HBase属性

修改$NUTCH_RUNTIME_HOME/conf/nutch-site.

<property>
 <name>storage.data.store.class</name>
 <value>org.apache.gora.hbase.store.HBaseStore</value>
 <description>Default class for storing data</description>
</property>

4、为Nutch添加HBase依赖:

修改$NUTCH_HOME/ivy/ivy.

添加(或取消注释)以下配置

<!-- Uncomment this to use HBase as Gora backend. -->
    <dependency org="org.apache.gora" name="gora-hbase" rev="0.6.1" conf="*->default" />
<dependency org="org.apache.hbase" name="hbase-common" rev="0.98.8-hadoop2" conf="*->default" />

5、为Nutch配置gora为hbase:

修改$NUTCH_RUNTIME_HOME/conf/gora.properties

添加(或取消注释)以下配置

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

6、使用ant重新编译Nutch、使配置生效:

在Nutch所在目录下执行

ant runtime

 

 

3       使用说明

HBase使用说明

无论是单机模式还是分布模式,都可以通过以下命令测试HBase的正常使用:

启动HBase

$HBASE_HOME/bin/start-hbase.sh

进入命令行:

$HBASE_HOME/bin/hbase shell

在命令行可以执行的命令:

create 'test', 'cf'

list 'test'

put 'test', 'row1', 'cf:a', 'value1'

put 'test', 'row2', 'cf:b', 'value2'

put 'test', 'row3', 'cf:c', 'value3'

scan 'test'

get 'test', 'row1'

disable 'test'

enable 'test'

drop 'test'

关闭HBase

$HBASE_HOME/bin/stop-hbase.sh

Nutch2.x使用说明

这里以2.3.1版本为例。

1、创建你的种子:

新建目录urls、在urls目录下创建文件seeds.txt,在seeds.txt中添加urls地址,一行一条urls。

2、inject可以理解为创建一个爬取任务:

$NUTCH_RUNTIME_HOME/bin/nutch inject urls -crawlId yyy


这里的urls就是你创建的种子url所在的文件夹,可以使用绝对路径。

yyy即为爬取任务的ID,在HBase中会创建一个yyy_webpage的表,来记录所有此爬取任务的数据信息。可以在HBase命令行用list等命令来查看爬取数据的变化。

3、generate 获取将要爬取的链接

$NUTCH_RUNTIME_HOME/bin/nutch generate -crawlId yyy


4、fetch 爬取网页

$NUTCH_RUNTIME_HOME/bin/nutch fetch –all -crawlId yyy –threads 4


5、parse解析网页数据

$NUTCH_RUNTIME_HOME/bin/nutch parse -crawlId yyy -all


6、updata更新数据库

$NUTCH_RUNTIME_HOME/bin/nutch updatedb -crawlId yyy


7、重复2-6步即可继续下一个深度的爬取

详细的命令可选参数,参考Nutch官网。