在企业生产中,集群一旦运行,是要尽可能的将损失降到最低,现在所有的大数据技术都有HA,spark的、Hadoop的、HBase的等等,HA分冷备和热备,热备是集群自带的,冷备就是硬件的。这样一种情况:晚上了,人睡着了,突然的大数据量来了,集群崩了,HA启动了另一台备用节点,然而数 ...
在企业生产中,集群一旦运行,是要尽可能的将损失降到最低,现在所有的大数据技术都有HA,spark的、Hadoop的、HBase的等等,
HA分冷备和热备,热备是集群自带的,冷备就是硬件的。
这样一种情况:晚上了,人睡着了,突然的大数据量来了,集群崩了,HA启动了另一台备用节点,然而数据量依然很大,另一台也崩了,好吧集群废了?
咋办?
这就是冷备的需要,进程掉了,在服务器运行的情况下:
有一种机制可以启动进程服务,crontab+shell
五分钟之内检查进程情况,没有启动(时间自定义)
#!/bin/bash# author:loongab=`jps | awk '{print $2=="RunJar"}'`res=0OLD_IFS="$IFS" IFS=" " arr=($ab) IFS="$OLD_IFS" for s in ${arr[@]} do if [ "$s" = "1" ] then ((res++)) fi doneecho $resif [ $res \> 0 ]then echo "进程存在"else echo "进程不存在" hive --service metastore &fi
原标题:企业生产环境集群稳定性
关键词:
*特别声明:以上内容来自于网络收集,著作权属原作者所有,如有侵权,请联系我们:
admin#shaoqun.com
(#换成@)。