你的位置:首页 > 软件开发 > 数据库 > Hadoop2.6.0配置参数查看小工具

Hadoop2.6.0配置参数查看小工具

发布时间:2016-07-27 11:00:15
前言使用Hadoop进行离线分析或者数据挖掘的工程师,经常会需要对Hadoop集群或者mapreduce作业进行性能调优。也许你知道通过浏览器访问http://master:18088/conf来查看配置信息,如下图所示: 但是当Linux工程师们只面对命令行时,如何查看呢? ...

Hadoop2.6.0配置参数查看小工具

前言

使用Hadoop进行离线分析或者数据挖掘的工程师,经常会需要对Hadoop集群或者mapreduce作业进行性能调优。也许你知道通过浏览器访问http://master:18088/conf来查看配置信息,如下图所示:

Hadoop2.6.0配置参数查看小工具

 

但是当Linux工程师们只面对命令行时,如何查看呢?而且如果运维工程师根据集群状况及运行历史使用shell、Python、ruby等脚本写些运维代码,甚至动态调整集群参数时,该怎么办呢?性能调优的前提是需要能准确知道目前针对Hadoop集群或者mapreduce作业配置的参数。在MySQL中可以通过以下命令查询参数值:

 

SHOW VARIABLES LIKE 'some_parameter'

也可以使用以下命令查询参数值:

 

 

SELECT @@session.some_parameterSELECT @@global.some_parameter

或者直接查询information_schema.GLOBAL_VARIABLES得到参数值。

可惜的是Hadoop没有提供类似的方式,这对于在Linux系统下查看参数进而修改参数增加了成本和负担。尽管我们可以

本文将针对这一需求,基于Hadoop开发一个简单实用的工具查询查看各种参数。

准备工作

首先在Hadoop集群的Master节点的个人目录下创建workspace目录用于存储开发的Hadoop应用代码,命令如下:

mkdir workspace

进入workspace目录,开始编辑HadoopConfDisplay.java代码:

 

Hadoop2.6.0配置参数查看小工具

原标题:Hadoop2.6.0配置参数查看小工具

关键词:

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

可能感兴趣文章

我的浏览记录