你的位置:首页 > 数据库

[数据库]linux keepalived+LVS 实现mysql 从库负载均衡


前情提要:

参考链接:

http://www.osyunwei.com/archives/7464.html

ps:以上为本次操作的主要参考资料,非常感谢此文作者的贡献,我的随笔的主要目的是

说明在使用以上资料参考部署的过程中,遇到的一些问题以及补充。

目的:

  1、解决web读写分离功能缺陷,实现数据库从库负载均衡与高可用

  2、简化web与主要功能模块的配置,使用vip接管

实验环境:

  操作系统:redhat6.4 64位   #目前主流的版本应该在6.4以上,主要是硬件要求

       DB版本:mysql5.6           #这个没什么可说的,选择版本主要看应用需求

       lvs主机:192.168.1.180   #部署lvs+keepalived,用于管理VIP,并分发数据库读写请求

     从库IP:192.168.20.182、192.168.20.183   #mysql_slave 一主两从

        测试机:192.168.20.181   #用于测试整套架构的功能

            VIP:192.168.20.253   #虚拟IP,用于请求的分发

一、环境安装配置  

数据库mysql5.6安装(20.182、20.183)

rpm -ivh

MySQL-server-5.6.16-1.el6.x86_64.rpm

MySQL-devel-5.6.16-1.el6.x86_64.rpm

MySQL-shared-5.6.16-1.el6.x86_64.rpm

MySQL-client-5.6.16-1.el6.x86_64.rpm

MySQL-shared-compat-5.6.16-1.el6.x86_64.rpm

 

mysql5.6的安全性有所提高,安装完成后会有如下提示:

You will find that password in '/root/.mysql_secret'

cat /root/.mysql_secret

# The random password set for the root user at Mon Aug 31 08:28:44 2015 (local time): 06tIwUud

通过密码进入mysql之后:通过:SET PASSWORD = password('xxxxxx'); 重置密码即可。 其他跟正常的mysql安装相同。

 

数据库主从搭建(略)

  恩......不是我偷懒,主要是网上这块的内容太多了,一抓一大把,没有什么可写的价值,之后如果有兴趣可能单开一个随笔,这就不写了。

      大家随意的搜一下。

 

网络环境配置(所有机器)

  由于我的生产环境有单独的思科防火墙,所以我所有的服务器的系统防火墙都是关闭的,包括selinux,不然太麻烦。

有些莫名其妙的报错可能都是iptable和selinux引起的,为了方便一般默认关闭

1、关闭selinux:

   修改/etc/selinux/config文件中的SELINUX="" 为 disabled ,然后重启。
   如果不想重启系统,使用命令setenforce 0

2、关闭iptables:

  service iptables stop
  chkconfig iptables off
 

二、LVS+keepalive主机搭建(192.168.1.180)

为了简化步骤,这里不做管理机器的高可用配置,
 

 1、安装LVS

yum install ipvsadm  #当前版本的linux内核已经集成lvs,此为管理模块
modprobe ip_vs  #加载模块
执行ipvsadm 测试是否安装成功
 

2、安装keepalived

yum install  gcc gcc-c++ make openssl-devel kernel-devel ncurses-devel

下载keeplived:http://www.keepalived.org/download.html

cd /usr/local/src

wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gz

ps:由于安装时间的不同,我新的生产环境是centos6.5  而测试环境是redhat6.4,并且我的生产之前一直都是redhat系列,一直使用的都是手动rpm以及编译安装,虽然很苦逼,但是着实锻炼动手能力以及一些说不清道不明的对系统的理解能力,并且yum本身并不是非常的安全,没有手动安装那么放心(俺的感受),我的建议是如果非用不可的话,安装可以用yum,但是卸载需要手动,这是我的底线。

 

tar -zxvf keepalived-1.2.19.tar.gz

cd keepalived-1.2.19

./configure  #配置,必须看到以下提示,说明配置正确,才能继续安装

Use IPVS Framework : Yes

IPVS sync daemon support : Yes

Use VRRP Framework       : Yes

make #编辑

make install  #安装

cp /usr/local/etc/sysconfig/keepalived  /etc/sysconfig/

mkdir /etc/keepalived

cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/

cp /usr/local/sbin/keepalived /usr/sbin/

cp /usr/local/etc/rc.d/init.d/keepalived  /etc/rc.d/init.d/

chmod +x /etc/rc.d/init.d/keepalived  #添加执行权限

chkconfig keepalived on  #设置开机启动

service keepalived start #启动

service keepalived stop  #关闭

service keepalived restart  #重启

 ps:以上直接辅助的原作者的命令,主要是没什么可写的,按照命令操作即可。

 ps2:参考资料在这会安装perl的相关环境,因为他的从库状态监测脚本需要用到,但是我并没有在这添加,主要考虑到如下的情况

  1、我有单独的数据库从库状态监测告警脚本(见上两篇原创随笔)

      2、keeplived本身有对3306端口的检测,如果数据库出现异常可以发现并处理。

      3、我希望即便从库同步出现问题,也能够继续提供服务,因为线上环境需要的是服务畅通,短暂不同步的代价我是能够接受的。

3、配置keepalived

cp /etc/keepalived/keepalived.conf  /etc/keepalived/keepalived.conf-bak

>/etc/keepalived/keepalived.conf   #清空配置文件

vi /etc/keepalived/keepalived.conf  #以下内容直接全部粘贴即可

 

======================================
! Configuration File for keepalived
 
global_defs {
        router_id LVS_DEVEL
}
 
vrrp_instance VI_1 {
 
        state MASTER
        interface eth0
        virtual_router_id 51
        priority 100
        advert_int 1
        authentication {
        auth_type PASS
        auth_pass 1111
        }
 
        virtual_ipaddress {
                192.168.20.253
        }
}
 
virtual_server 192.168.20.253 3306 {
 
                delay_loop 6
                lb_algo wlc
                lb_kind DR
                #persistence_timeout 120
                protocol TCP
 
        real_server 192.168.20.182 3306 {
 
                weight 1
                TCP_CHECK {
                        connect_timeout 3 
                        nb_get_retry 3 
                        delay_before_retry 3 
                        connect_port 3306
                }
        }
 
        real_server 192.168.20.183 3306 {
 
                weight 1
                TCP_CHECK {
                        connect_timeout 3
                        nb_get_retry 3
                        delay_before_retry 3
                        connect_port 3306
        }
}
}
==============================================
#wp    #保存退出
注:最好在使用以上内容前,复制到编辑器,检查括号是否齐全与匹配,这很重要。
 

三、数据库从库配置(192.168.20.182、183)

1、绑定LVS虚拟服务器(VIP):192.168.20.253到lo:0

 #编辑增加如下代码:

vi  /etc/rc.d/init.d/realserver
==================================================
#!/bin/sh
# chkconfig: - 80 90
# description:realserver
# mysql_vip start realserver
mysql_vip=192.168.20.253 
. /etc/rc.d/init.d/functions
case "$1" in
start)
ifconfig lo:0 $mysql_vip netmask 255.255.255.255 broadcast $mysql_vip
/sbin/route add -host $mysql_vip dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $mysql_vip >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
==========================================================

chmod +x /etc/rc.d/init.d/realserver  #添加脚本执行权限

chkconfig realserver on                    #添加开机启动

/etc/rc.d/init.d/realserver start         #开启,参数stop为关闭

 


 2、配置允许ARP转发

 
vi /etc/sysctl.conf
============================
net.ipv4.ip_forward = 1   #修改原有配置
# MYSQL-VIP-NewAdd    #此为新增配置
net.ipv4.conf.lo.arp_ignore= 1
net.ipv4.conf.lo.arp_announce= 2
net.ipv4.conf.all.arp_ignore= 1

net.ipv4.conf.all.arp_announce= 2
============================
/sbin/sysctl -p  #使配置及时生效

 

四、负载均衡功能测试

 1、LVS主机(20.180)执行:

service keepalived start  #启动keepalived

ipvsadm -Ln  #检查lvs运行状态

2、数据库从库(20.182、20.183)

/etc/rc.d/init.d/realserver start  

VIP已经绑定到lo:0

 

3、负载均衡功能测试

20.182:执行service mysql stop

在20.180(LVS主机)上执行

ipvsadm -Ln  #检查lvs运行状态

可以看到20.182服务器已经被去掉。同理再次启动之后此服务器会被再次加入服务。

 

4、VIP数据库功能测试

在测试服务器(1.181)上执行数据库连接命令

mysql -uroot -pXXXXXX -h192.168.20.253

 或者使用telnet 192.168.20.253 3306 命令去尝试连接,如果提示输入密码,说明连接正常。

 

FAQ:

  1、能够ping通,但是telnet不通,不知道是为什么?

        答:网上看到很多人,包括我自己,都遇到了这个问题,VIP能够ping通,但是telnet以及mysql连接命令不通,怎么着也找不到问题。

          这个问题困扰了我很长时间,中间试验停止了两个月,因为实在找不到原因,但是后来实在是啼笑皆非,原因竟然是:没有使用测试机,

          我所有的测试命令都是在LVS主机上执行的,而LVS主机上绑定了VIP,并且没有mysql服务,肯定能ping通,但是在没有转发请求的

          情况下,肯定服务不通。

 

  2、原资料中的一些命令的困扰?

    答:比如ipvsadm -L   在我的服务器上是不显示具体IP的,只显示localhost,一度让我以为服务不通跟这个有联系,但实际上执行ipvsadm -Ln就ok了。

 

  3、数据库从库状态检测脚本是否使用?

   答:我觉得这个应该根据具体的业务系统的需求去考虑,我的系统要求的是能够持续提供服务,对数据一致性的要求没有那么高,所以我只需要对同步状态进行

         告警,并保证能及时处理即可,并不需要停止服务这么严苛。另外脚本使用perl或者shell实际上应该没有什么不同。

ok!整个方案就这样了,中间省略了一些步骤,比如数据库主从服务的搭建,LVS高可用的搭建,这两个服务我在很久之前就搭建了无数次,实在是懒得再写,并且这种单独的服务在网上已经有了无数个攻略,写的价值不是很大,大家各种研究下吧。

  另外水平有限,如果有所遗漏和错误请大家指出,我及时修改,如果有更完善的方案,大家能分享就更好了。