你的位置:首页 > 操作系统

[操作系统]LVS + Keepalived 实现高可用、负载均衡 Web 集群



简介:

LVS 是 Linux Virtual Server 的简写,Linux 虚拟服务器的意思,是一个虚拟的服务器集群系统,此项目由章文嵩博士于 1998 年 5 月成立,是中国最早出现的自由软件项目之一。

LVS 负载均衡集群系统的优点:

1、提高吞吐量

想获得更高的吞吐量,在 LVS 中只需增加 Real-server 即可,其开销只是线性增长。如选择更换一台更高性能的服务器来获得相当的吞吐量,开销要大很多。

2、冗余

如果 LVS 中某台 Real-server 由于需要升级或其它原因不能对外提供服务,其退出及恢复工作并不会对用户造成服务中断。

3、适应性

不管是需要吞吐量逐渐变化、还是快速变化,服务器的增减对客户都是透明的。

LVS 负载均衡集群系统的三种转发机制:

1、Virtual Server via NAT ( VS/NAT )

VS/NAT 网络地址转换模式,服务器可以运行任何支持 TCP/IP 协议的操作系统,它只需要一个公网 IP 地址配置在 LVS 主机上,后端真实服务器都可以使用私有地址。
它的缺点是扩充能力有限,当后端真实服务器达到一定数量时,LVS 本机有可能成为集群瓶颈,因为整个集群中的客户端请求和响应封包都要通过 LVS 负载均衡主机。

2、Virtual Server via IP Tunneling ( VS/TUN )

VS/TUN IP 隧道模式,负载均衡 LVS 主机只将请求分配到不同的真实服务器,真实服务器将结果直接返回给客户端。这样 LVS 可以处理海量的请求,而不会成为集群系统瓶颈。
并且 IP 隧道模式不限制真实服务器位置,只要系统支持 IP 隧道协议并且网络可达就可以。多了一层 IP 隧道的开销,且并不是所有系统都支持此协议。

3、Virtual Server via Direct Routing ( VS/DR )

VS/DR 直接路由模式,同样 LVS 主机只处理客户端到服务器端的连接,响应信息由真实服务器直接返回给客户端。
DR 模式要求所有真实服务器必须至少有一块网卡与 LVS 主机在同一物理网段中,且真实服务器网络设备或设备别名不作 ARP 响应。

Keepalived 起初是 LVS 设计的,专门用来监控集群系统中各个服务节点的状态,后来又加入了 VRRP( 虚拟路由冗余协议 )解决静态路由出现的单点故障问题,
通过 VRRP 协议可以实现网络不间断稳定运行。因此,Keepalived 不仅具有服务器状态检测和故障隔离功能,还具有 HA Cluster 功能。

Keepalived 作为 LVS 的扩展项目,因此。Keepalived 可以与 LVS 无缝整合,轻松构建一套高性能的负载均衡集群系统。

环境描述:( CentOS 6.6_x86_64 minimal )

LVS VIP 192.168.214.50

LVS Master 192.168.214.20
LVS Backup 192.168.214.30

Real-Server-1 192.168.214.10
Real-Server-1 192.168.214.40

软件包下载地址:

Ipvsadm http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
Keepalived http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

一、安装环境依赖包

shell > yum install -y gcc gcc-c++ makepcre pcre-devel kernel-devel openssl-devel libnl-devel popt-devel popt-static

二、下载、安装 ipvsadm 、keepalived

shell > wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gzshell > tar zxf ipvsadm-1.26.tar.gzshell > cd ipvsadm-1.26shell > make ; make installshell > ipvsadm -vipvsadm v1.26 2008/5/15 (compiled with popt and IPVS v1.2.1)

## 安装还是很简单的

shell > wget http://www.keepalived.org/software/keepalived-1.2.10.tar.gzshell > tar zxf keepalived-1.2.10.tar.gzshell > cd keepalived-1.2.10shell > ./configure --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-504.23.4.el6.x86_64## --sysconf 指定 keepalived.conf 的存放位置 --with-kernel-dir 指定使用内核源码中的头文件,即 include 目录shell > make ; make installshell > ln -s /usr/local/sbin/keepalived /sbin/shell > keepalived -vKeepalived v1.2.10 (07/01,2015)

## 安装也是蛮简单的

三、配置 keepalived.conf

shell > vim /etc/keepalived/keepalived.conf! Configuration File for keepalivedglobal_defs {  router_id MASTER                 ## keepalived 服务器标识符,可以随意设定( 貌似也是全局唯一 )}vrrp_instance VI_1 {                 ## 定义一个名为 VI_1 的 VRRP 实例  state MASTER                   ## Keepalived 服务器角色,MASTER 为主、BACKUP 为备  interface eth0                  ## 指定 HA 监测网络接口  virtual_router_id 51               ## 虚拟路由标识,同一个 VRRP 实例使用唯一的标识,主备必须一样  priority 100                   ## 节点优先级,同一 VRRP 实例中 MASTER 的优先级必须大于 BACKUP  advert_int 1                   ## MASTER / BACKUP 之间同步检查间隔时间,单位 秒  authentication {                 ## 节点之间通信验证类型、密码 ,同一 VRRP 实例中,MASTER / BACKUP 必须使用相同的密码才可以通信    auth_type PASS    auth_pass 888  }  virtual_ipaddress {               ## 虚拟 IP 地址,又称漂移 IP 。可以通过 ip add 在 MASTER 上查看是否绑定    192.168.214.50  }}virtual_server 192.168.214.50 80 {          ## 定义虚拟服务器  delay_loop 6                   ## 定义健康检查时间间隔,单位 秒  lb_algo rr                    ## 负载均衡调度算法,支持 rr 、wrr 、lc 、wlc 、lblc 、sh 、dh 等  lb_kind DR                    ## LVS 负载均衡机制,支持 NAT 、TUN 、DR  nat_mask 255.255.255.0              ## 子网掩码  persistence_timeout 120             ## 会话保持时间,单位 秒。提供动态页面 session 保持功能,同一 IP 该值时间内被持续分配到同一台节点服务器上  protocol TCP                   ## 转发协议类型,支持 TCP 、UDP  real_server 192.168.214.10 80 {         ## 定义节点服务器    weight 1                   ## 节点权重值,数字越大权重越高,分配到的连接越多。主要用于后端节点服务器性能不统一    notify_down /etc/keepalived/real_down.sh   ## 该节点服务器处于 DOWN 状态后执行的脚本    TCP_CHECK {                 ## 健康检测方式,支持 HTTP_GET 、SSL_GET 、TCP_CHECK 、SMTP_CHECK 、MISC_CHECK      connect_port 80              ## 检测端口,不指定时默认为 real_server 指定的端口      connect_timeout 3             ## 无响应超时时间,单位 秒      nb_get_retry 3              ## 重试次数      delay_before_retry 3           ## 重试间隔,单位 秒    }  }  real_server 192.168.214.40 80 {         ## 第二台节点服务器     weight 1     notify_down /etc/keepalived/real_down.sh     TCP_CHECK {     connect_port 80     connect_timeout 3     nb_get_retry 3     delay_before_retry 3     }  }}

shell > vim /etc/keepalived/real_down.sh#!/bin/bashMail='admin@mail.com'echo "Real Server State is DOWN" | mail -s "Keepalived Mail" $Mail

## 当 real server 处于 DOWN 状态时执行的脚本,LVS 要启动 Sendmail 、Postfix 或其它邮件服务

四、启动 Keepalived 并加入开机启动、配置防火墙规则

shell > /etc/init.d/keepalived startshell > chkconfig --add keepalivedshell > chkconfig --level 35 keepalived onshell > iptables -I INPUT 4 -p tcp --dport 80 -j ACCEPTshell > service iptables save

## 现在使用 ip add 可以看到绑定了 VIP ,并且 /var/log/messages 日志文件中也有关于 VIP 绑定、real server 的检测结果

五、以上都是在 MASTER 主机的操作,下面配置 BACKUP 主机

## 步骤一、二、四完全一样,主要将步骤三的 keepalived.conf 中 router_id 、state 、priority 修改为 BACKUP 、BACKUP 、80 即可

## 同样可以使用 ip add 查看 VIP 信息,不过它现在是 BACKUP 状态,没有绑定 VIP 为正常,通过 /var/log/messages 日志文件可以看到处于 BACKUP 状态。

六、配置 Real-server ,后端节点服务器

Real-Server-1

shell > yum -y install httpdshell > echo "welcome to Real-Server-1" > /var/www/html/index.htmlshell > /etc/init.d/httpd startshell > iptables -I INPUT -p tcp --dport 80 -j ACCEPT

Real-Server-2

shell > yum -y install httpdshell > echo "welcome to Real-Server-2" > /var/www/html/index.htmlshell > /etc/init.d/httpd startshell > iptables -I INPUT -p tcp --dport 80 -j ACCEPT

shell > vim /etc/init.d/realserver.sh ## Real-Server-1 / Real-Server-2 都要建立此脚本,并设为开机启动#!/bin/bashVIP='192.168.214.50'. /etc/init.d/functionscase "$1" in start)  /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up  echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore  echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce  echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore  echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce  echo " LVS Real-Server Start Success"   ;;  stop)   /sbin/ifconfig lo:0 down   echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore   echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce   echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore   echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce   echo " LVS Real-Server Stop Success"   ;;    *)   echo "Usage: $0 ( start | stop )"   exit 1esacshell > chmod a+x /etc/init.d/realserver.shshell > /etc/init.d/realserver.sh startshell > echo "/etc/init.d/realserver.sh start" >> /etc/rc.local ## 加入开机启动

## 此脚本用于节点服务器绑定 VIP ,并抑制响应 VIP 的 ARP 请求。
## 这样做的目的是为了不让关于 VIP 的 ARP 广播时,节点服务器应答( 因为节点服务器都绑定了 VIP ,如果不做设置它们会应答,就会乱套 )

七、测试

1、首先单独测试节点服务器能不能访问

## 单独访问 192.168.214.10 192.168.214.40 ,如果可以看到页面显示 Welcome to Real-Server-1 和 Welcome to Real-Server-2 则节点服务器正常

2、分别查看节点服务器是否都绑定了 VIP

## 分别在节点服务器上使用 ifconfig lo:0 ,如果可以看到 lo:0 虚拟网卡被绑定了 VIP 192.168.214.50 则节点服务器正常

3、首先查看 MASTER 服务器有没有绑定 VIP ,状态是不是 MASTER ,检测后端节点服务器是不是成功

## 使用 ip add 查看是否绑定 VIP ,tail /var/log/messages 查看服务器状态是不是 MASTER ,检测节点服务器有没有连接成功信息:

Jul 2 17:38:44 localhost Keepalived_healthcheckers[1015]: TCP connection to [192.168.214.10]:80 success.Jul 2 17:38:44 localhost Keepalived_healthcheckers[1015]: Adding service [192.168.214.10]:80 to VS [192.168.214.50]:80Jul 2 17:44:01 localhost Keepalived_healthcheckers[1015]: TCP connection to [192.168.214.40]:80 success.Jul 2 17:44:01 localhost Keepalived_healthcheckers[1015]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

## 服务器状态信息:

Jul 2 13:07:48 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Transition to MASTER STATEJul 2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Entering MASTER STATEJul 2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) setting protocol VIPs.Jul 2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.214.50Jul 2 13:07:49 localhost Keepalived_healthcheckers[1015]: Netlink reflector reports IP 192.168.214.50 added

4、同样查看 BACKUP 服务器有没有绑定 VIP ,状态是不是 BACKUP ,检测后端节点服务器是不是成功

## 发现没有绑定 VIP 为正常,状态为 BACKUP 为正常,同样能够检测到后端节点服务器为正常,相关信息如下:

Jul 2 17:27:06 localhost Keepalived_vrrp[1017]: VRRP_Instance(VI_1) Entering BACKUP STATEJul 2 17:27:06 localhost Keepalived_vrrp[1017]: VRRP sockpool: [ifindex(2), proto(112), unicast(0), fd(11,12)]Jul 2 17:27:06 localhost Keepalived_healthcheckers[1016]: Using LinkWatch kernel netlink reflector...Jul 2 17:38:40 localhost Keepalived_healthcheckers[1016]: TCP connection to [192.168.214.10]:80 success.Jul 2 17:38:40 localhost Keepalived_healthcheckers[1016]: Adding service [192.168.214.10]:80 to VS [192.168.214.50]:80Jul 2 17:44:01 localhost Keepalived_healthcheckers[1016]: TCP connection to [192.168.214.40]:80 success.Jul 2 17:44:01 localhost Keepalived_healthcheckers[1016]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

5、客户端访问 VIP 测试负载均衡

## 直接访问 192.168.214.50 ,如果可以访问到页面证明成功。
## 当多次访问后发现,页面并没有发生变化,也就是说并没有负载均衡。
## 在 MASTER 上使用 ipvsadm -Ln 命令看到的信息如下:

shell > ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port      Forward Weight ActiveConn InActConnTCP 192.168.214.50:80 rr persistent 120 -> 192.168.214.10:80      Route  1   0     0 -> 192.168.214.40:80      Route  1   0     87

## 发现有 87 次访问都被分配到了 192.168.214.40 这台节点服务器上,这正常吗 ?
## 不要着急,这是正常的!还记得大明湖畔的夏雨荷吗?哦不,还记得 persistence_timeout 120 这个参数吗?
## 正因为设置了 session 保持时间,所以持续的访问被分配到了某一台节点服务器。
## 现在把此参数注释掉,测试一次( 记得重启 keepalived )。

shell > ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port      Forward Weight ActiveConn InActConnTCP 192.168.214.50:80 rr -> 192.168.214.10:80      Route  1   0     26 -> 192.168.214.40:80      Route  1   0     26

## 可以看到请求被均衡的分配到了现台节点服务器上( rr 轮询调度算法 ),并且页面也在两台节点服务器上切换。

## 当节点服务器宕机后会发生什么 ?

shell > tail /var/log/messagesJul 2 18:38:36 localhost Keepalived_healthcheckers[1636]: TCP connection to [192.168.214.40]:80 failed !!!Jul 2 18:38:36 localhost Keepalived_healthcheckers[1636]: Removing service [192.168.214.40]:80 from VS [192.168.214.50]:80

## 检测失败,节点服务器 192.168.214.40 被从 IPVS 中移除

shell > ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port      Forward Weight ActiveConn InActConnTCP 192.168.214.50:80 rr -> 192.168.214.10:80      Route  1   0     17

## 宕机的节点服务器被移除了

Jul 2 18:45:48 localhost Keepalived_healthcheckers[1705]: TCP connection to [192.168.214.40]:80 success.Jul 2 18:45:48 localhost Keepalived_healthcheckers[1705]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

## 当节点服务器修复后,会自动将节点服务器加入集群中。

6、客户端访问 VIP 测试高可用

## 当 MASTER 服务器无法提供服务时,VIP 会在 MASTER 上自动移除,BACKUP 服务器会提升为 MASTER 状态,绑定 VIP 、接管服务。
## 当 MASTER 修复加入网络后,会自动抢回 VIP ,成为 MASTER 身份。这再繁忙的网络环境中是不理想的。
## 可以通过 nopreempt 参数来设置不抢占功能,设置此参数时需要注意,必须将之前修复的 MASTER 机器状态设为 BACKUP ,优先级还保持最高。