你的位置:首页 > 数据库

[数据库]执行Hadoop job提示SequenceFile doesnt work with GzipCodec without native


参照Hadoop.The.Definitive.Guide.4th的例子,执行SortDataPreprocessor作业时失败,输出的错误信息

 SequenceFile doesn't work with GzipCodec without native-hadoop code!

根据提示初步猜测应该是没有加载到对应的库,怀疑是java的某个jar包没有加载到。根据提示搜索参考了一些解决方案,应该是hadoop native lib没有加载到,于是继续了解什么是hadoop native lib。

hadoop native lib

字面上意思就是hadoop的本地运行库,由于hadoop的一些操作(比如压缩)为了提高性能,不适合使用java的库运行,所以提供一批本地库。

参考http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html

 

好了,搞明白hadoop native lib后,现在要定位为什么没有加载成功

继续搜索,找到了相似的解决方案,参考http://blog.csdn.net/jiedushi/article/details/7496327,学习到了如下debug命令

export HADOOP_ROOT_LOGGER=DEBUG,console

通过这个设置,可以显示hadoop执行作业时的调试信息,也就是可以输出错误信息

 

启用调试之后,执行hadoop checknative(这是检测hadoop本地库是否加载成功的命令)

输出如下调试信息

16/03/18 03:44:41 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: /usr/hadoop/lib/native/libhadoop.so.1.0.0: libc.so.6: version `GLIBC_2.14' not found (required by /usr/hadoop/lib/native/libhadoop.so.1.0.0)

根据调试信息继续进入另外一个洞,什么是GLIBC?

简单了解GLIBC,发现是一个C运行库,功能很强大,linux系统的重要基础组件。

 

根据提示信息"GLIBC_2.14"搜索,引出了一个更根本的问题,本机的GLIBC的版本不是2.14,是2.12,参考http://www.cnblogs.com/gw811/p/3676856.html(这篇文章的export方式升级版本无效果,还会导致命令行完全不可用)

现在确定需要升级GLIBC到2.14版本,直接用yum install不行,仅仅只是给2.12版本打升级包,但是版本没有升级。找了好几个解决方案,最终找到一个可行的

http://blog.csdn.net/niying/article/details/42491557

安装2.14版的步骤还算简单,只是比较长特别是执行make -j4,需要点耐心,关键步骤是通过更新软链接升级GLIBC版本

ln -fs /opt/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6

/lib64/libc.so.6本身就是一个已存在软链接,指向的是同目录的llibc-2.12.so,通过上述命令将新版的库链接到libc.so.6

 

完成上述步骤执行,再次执行hadoop checknative

INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library

看到上述信息说明本地库加载成功

 

接着继续执行SortDataPreprocessor作业,成功运行,到此问题解决。