你的位置:首页 > 软件开发 > 操作系统 > 使用Nginx+Lua代理Hadoop HA

使用Nginx+Lua代理Hadoop HA

发布时间:2016-06-28 00:00:06
一、Hadoop HA的Web页面访问 Hadoop开启HA后,会同时存在两个Master组件提供服务,其中正在使用的组件称为Active,另一个作为备份称为Standby,例如HDFS的NameNode、YARN 的ResourceManager。HDFS的web页面只有通 ...

使用Nginx+Lua代理Hadoop HA

一、Hadoop HAWeb页面访问

 

Hadoop开启HA后,会同时存在两个Master组件提供服务,其中正在使用的组件称为Active,另一个作为备份称为Standby,例如HDFS的NameNode、YARN 的ResourceManager。HDFS的web页面只有通过Active的NameNode才能正常访问,同样地,YARN的web页面也只有通过Active的ResouceManager才能正常访问。

 使用Nginx+Lua代理Hadoop HA

 

(1) HDFS HA的Web访问

 

正常使用Nginx的proxy_pass代理单一的Web服务地址时非常简单(参考博文最简反向代理配置),而面对Hadoop HA这样的多Web服务地址时就会有点麻烦。

 使用Nginx+Lua代理Hadoop HA

 

(2) HDFS HA的Web代理

 

虽然Nginx的upstream支持配置多个Web地址,默认会随机将Web请求随机转发到任意一个Web地址,只有某个web地址被认为不可达后,才会被Nginx列入黑名单。而Hadoop HA的Active和Standby节点都是一直服务的,只是同一个时刻,最多只有一个节点的Web访问是有效的,这就要求Nginx对upstream中的Web地址更细致地检查,而非粗略地判断是否可达。

 

二、Nginxupstream健康检查

 

对upstream的地址有效性检查称为健康检查。通过定期的调用检查逻辑,对upstream配置的Web地址进行标记,不健康的Web地址会被临时列入黑名单内,直到该地址被标记为健康状态时,才会有新的Web请求转发到该地址上。

(1)Nginx本身对upstream的健康检查支持并不强大,做不到对检查逻辑的自由定制。

 

(2)开源项目nginx_upstream_check_module以Nginx补丁的方式扩展了Nginx的upstream语法,支持自定义HTTP请求的方式检查Web服务的健康状态。但在实际使用过程中,遇到一个很不方便的地方。

upstream resourcemanagers {  server 192.168.0.1:8084;  server 192.168.0.2:8084;  check interval=30000 rise=1 fall=3 timeout=5000 type=http;  check_http_send "HEAD / HTTP/1.0\r\n\r\n";  check_http_expect_alive http_3xx;  keepalive 2000;}

原标题:使用Nginx+Lua代理Hadoop HA

关键词:nginx

*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们: admin#shaoqun.com (#换成@)。

我的浏览记录