LVS+keepalived-DR模式

下面一张图其实就是企业的集群架构图结合前面的技术加上今天的lvs+keepalived负载均衡nginxde技术就可以搭建出来前面的实验累积一起就是这张图只不过她的web服务器比我们实验的机器要多其实理论是一样的那么结合以前的实验今天咱们可以做一个完整的网络图

集群图大概上这样的 ,但是条件有限我这里就开3台机器其实还要加一台lvs从,防止主挂机可以切到从上面,vs从就不做了,后面会给大家一些配置文件,其实从和主一样,就是keepalived的优先级不一样,下面有lvs从的配置文件安装和主一样.

实验环境：（环境大家可以参照其它笔记搭建）

192.168.1.120 lvs+keepalived负载nginx服务器（主）

192.168.1.116 nginx负载均衡服务器

192.168.1.118 nginx负载均衡服务器

192.168.1.117 lap+tomcat1+tomcat2 WEB服务器（一般每台web服务器只配一个网站 tomcat可以配置多个）

192.168.1.18 mysql主也是keepalived主

（这里我们用5台就可以演示出来当然你的机器好的话也可以把咱们前面两台数据库和两台web服务器都可以开起来也可以在配置一台lvs从，这样效果更明显）

今天的内容是lvs+keepalived 来负载前端nginx服务器做到这里那么我们上一张的nginx+keepalived 就可以不用了如果说你们公司就两台nginx服务器那么nginx+keepalived就可以的，但是一旦nginx服务器多的话 keepalived没有使用的价值了，今天的lvs+keepalived就是来解决前端多台nginx负载均衡的问题。。。。。。。。。。。。

LVS 简单工作原理：用户请求LVS VIP，LVS根据转发方式和算法，将请求转发给后端服务器，后端服务器接受到请求，返回给用户。对于用户来说，看不到WEB后端具体的应用。

LVS转发方式有三种，分别是NAT、DR、TUN模式，常用算法：RR、LC、WRR、WLC模式等（RR为轮询模式，LC为最少连接模式）

假如下面就是1.116和1.118的nginx负载均衡的网站两个网站是一样的要怎么不用访问这两台nginx的ip lvs可以解决负载nginx（前端两台nginx 后端两台web服务器+两台数据库）这里条件有限就在两台nginx上配置两个一样的网站。

步骤1.

LVS环境安装配置192.168.1.120

下载LVS所需软件ipvsadm-1.2.4.tar.gz软件，编译安装：

wget -c

http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz

ln -s /usr/src/kernels/2.6.* /usr/src/linux //IPVS模块编译进内核里，需要做软连接

（这里写的是自己机器的内内核这里记住如果内核Tab不出来，那么我们就安装内核扩展包 yum –y install kernel kernel-devel）

yum -y install gcc* openssl openssl-devel

tar xzvf ipvsadm-1.24.tar.gz &&cd ipvsadm-1.24 && make && make install

(下面的黄色标记的公司一般不会用这种方式来做下面的keepalived的配置可以来完成)

LVS安装完毕之后，需要进行配置，配置的步骤有两步，第一步为定义端口服务，第二步为添加realserver后端服务。

ipvsadm -A -t 192.168.1.199:80 -s rr

ipvsadm -a -t 192.168.1.199:80 -r 192.168.1.116 -g -w 2

ipvsadm -a -t 192.168.1.199:80 -r 192.168.1.118 -g -w 2

可以用脚本自动部署：server_lvs.sh

#!/bin/bash

SNS_VIP=192.168.1.199

SNS_RIP1=192.168.1.116

SNS_RIP2=192.168.1.118

echo 1 > /proc/sys/net/ipv4/ip_forward

. /etc/rc.d/init.d/functions

function IPVSADM(){

/sbin/ipvsadm --set 30 5 60

/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up

/sbin/route add -host $SNS_VIP dev eth0:0

/sbin/ipvsadm -A -t $SNS_VIP:80 -s wlc -p 120

/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP1:80 -g -w 1

/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP2:80 -g -w 1

/etc/init.d/ipvsadm save

}

case "$1" in

start)

IPVSADM

echo "-----------------------------------------------------"

/sbin/ipvsadm -Ln

touch /var/lock/subsys/ipvsadm > /dev/null 2>&1

;;

stop)

/sbin/ipvsadm -C

/sbin/ipvsadm -Z

ifconfig eth0:0 down >>/dev/null 2>&1

route del $SNS_VIP >>/dev/null 2>&1

rm -rf /var/lock/subsys/ipvsadm > /dev/null 2>&1

echo "ipvsadm stopped!"

;;

status)

if [ ! -e /var/lock/subsys/ipvsadm ]

then

echo "ipvsadm stopped!"

exit 1

else

echo "ipvsadm started!"

fi

;;

*)

echo "Usage: $0 {start | stop | status}"

exit 1

esac

exit 0

参数说明：

-A 增加一台虚拟服务器地址。

-t 虚拟服务器提供的是tcp服务。

-s 使用的调度算法。

-a 在虚拟服务器中增加一台后端真实服务器。

-r 指定真实服务器地址。

-m 设置当前转发方式为NAT模式；-g为直接路由模式；-i 模式为隧道模式。

-w 后端真实服务器的权重。

ipvsadm -D -t 192.168.1.199:80

ipvsadm -d -t 10.143.130.106:80 -r 10.143.130.107:80

查看LVS转发列表命令为：ipvsadm –Ln

我们会发现，如果这台LVS发生突发情况，down机了，那后端所有的应用程序都访问不了。如何避免这种问题呢，这里需要用到故障切换，也就是如果有一台备用的LVS就好了，主down了，自动切换到从，怎么实现这个需求，接下来讲解的keepalived软件就是专门用来做故障检测及切换的。

需要注意一点，如果使用了keepalived.conf配置，就不需要再执行ipvs –A命令去添加均衡的realserver命令了，所有的配置都会在keepalived.conf里面，一个配置文件搞定所有，即只需要安装ipvs模块。

步骤2.

Keepalived安装配置

官方下载keepalived相应稳定版本：

cd /usr/src ;wget -c http://www.keepalived.org/software/keepalived-1.1.15.tar.gz

tar -xzvf keepalived-1.1.15.tar.gz &&cd keepalived-1.1.15 && ./configure && make && make install

（这里的keepalived安装不需要编译内核了和前面mysql+keepalived安装方法不一样了因为我们安装lvs的时候已经定义了）

（这里编译出错就安装yum install popt-devel）

安装完毕，配置keepalived服务为系统服务。

DIR=/usr/local/

cp $DIR/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ && cp $DIR/etc/sysconfig/keepalived /etc/sysconfig/ && mkdir -p /etc/keepalived && cp $DIR/sbin/keepalived /usr/sbin/

在MASTER上/etc/keepalived/目录创建keepalived.conf配置文件，并写入如下内容：

! Configuration File for keepalived

global_defs {

   notification_email {

      wgkgood@163.com

   }

   notification_email_from wgkgood@163.com

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id LVS_DEVEL

}

# VIP1

vrrp_instance VI_1 {

    state BACKUP

    interface eth0

    lvs_sync_daemon_inteface eth0

    virtual_router_id 51

    priority 100

    advert_int 5

    nopreempt

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        192.168.1.199

    }

}

virtual_server 192.168.1.199 80 {

    delay_loop 6

    lb_algo wrr

    lb_kind DR

#    persistence_timeout 60

    protocol TCP

    real_server 192.168.1.116 80 {

        weight 100

        TCP_CHECK {

        connect_timeout 10

        nb_get_retry 3

        delay_before_retry 3

        connect_port 80

        }

    }

    real_server 192.168.1.118 80 {

        weight 100

        TCP_CHECK {

        connect_timeout 10

        nb_get_retry 3

        delay_before_retry 3

        connect_port 80

        }

    }

}

以上就是keepalived的配置文件记住上面的vip的ip要保证没有被使用这里是两台nginx服务器如果还有多个nginx服务器就在配置文件里面添加real_server 对应的配置段

下面可以看到我们的lvs+keepalived配置成功

Lvs从上安装lvs和主安装是一样的 keepalived上配置如下就行了我这里就不演示了：

如上配置文件，红色标记的地方需要注意，state状态主服务器设置MASTER，从设置为BACKUP，优先级备机设置比MASTER小，例如设置90，使用TCP端口检测。

在LVS BACKUP服务器写入如下配置，需要注意的是客户端的配置要修改优先级及状态：

! Configuration Filefor keepalived

global_defs {

  notification_email {

   wgkgood@163.com

  }

  notification_email_from wgkgood@163.com

  smtp_server 127.0.0.1

  smtp_connect_timeout 30

  router_id LVS_DEVEL

}

# VIP1

vrrp_instance VI_1 {

  state BACKUP

  interface eth0

  lvs_sync_daemon_inteface eth0

  virtual_router_id 51

  priority 90

  advert_int 5

  authentication {

    auth_type PASS

    auth_pass 1111

  }

  virtual_ipaddress {

    192.168.1.199

  }

}

virtual_server 192.168.1.199 80 {

  delay_loop 6

  lb_algo wrr

  lb_kind DR

# persistence_timeout 60

  protocol TCP

  real_server 192.168.1.116 80 {

    weight 100

    TCP_CHECK {

    connect_timeout 10

    nb_get_retry 3

    delay_before_retry 3

    connect_port 80

    }

}

  real_server 192.168.1.118 80 {

    weight 100

    TCP_CHECK {

    connect_timeout 10

    nb_get_retry 3

    delay_before_retry 3

    connect_port 80

    }

  }

}

如上设置，LVS 主备配置完毕，接下来需要在realserver配置LVS VIP，为什么要在realserver绑定VIP呢？

客户端访问director的VIP，director接收请求，将通过相应的算法将请求转发给相应的realserver。在转发的过程中，会修改请求包的目的mac地址，目的ip地址不变。

Realserver接收请求，并直接响应客户端。这时便出现一个问题，director此时与realserver位于同一个网络中，当director直接将请求转发给realserver时，realserver检测到该请求包的目的ip是vip而并非自己，便会丢弃，而不会响应。为了解决这个问题，所以需要在所有Realserver上都配上VIP。

为什么一定要配置在lo接口上呢？

在realserver上的lo口配置VIP,这样限制了VIP不会在物理交换机上产生MAC地址表，从而避免IP冲突。

客户端nginx服务器上启动Realserver.sh脚本内容：

#!/bin/sh

#LVS Client Server

VIP=192.168.1.199 (这里的vip 要和lvs上的keepalived配置文件里面的vip是一样的)

case $1 in

start)

    ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP

    /sbin/route add -host $VIP dev lo:0

    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

    sysctl -p >/dev/null 2>&1

    echo "RealServer Start OK"

    exit 0

;;

stop)

    ifconfig lo:0 down

    route del $VIP >/dev/null 2>&1

    echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore

    echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce

    echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore

    echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce

    echo "RealServer Stoped OK"

    exit 1

;;

*)

    echo "Usage: $0 {start|stop}"

;;

esac

在客户端nginx服务器都要执行上面的脚本执行方式如下两台nginx都是一样在lo上绑定虚拟ip 两台都要指定有多少nginx服务器就指定多少

这是我们来做个验证就是把其中一台nginx服务关掉看看有什么效果：

这里我们会发现那台nginx服务关掉了 lvs就会从路由表里面把它踢出去当然nginx再起来的时候lvs就会自动把它加入路由表里面

接下来就是验证的时候了在验证前我们要先把一些服务器添加到开机自动启动，

chkconfig --add keepalived

chkconfig keepalived on

在lvs上我们要保证开机自动启动keepalived执行命令： echo "/etc/init.d/keepalived restart">>/etc/rc.local
在客户端nginx服务器上保证vip开机自动添加执行命令：echo "sh /root/realserver.sh start" >> /etc/rc.local
客户端nginx服务器保证开机启动nginx服务执行命令：echo "/usr/local/nginx/sbin/nginx">>/etc/rc.local

接下来我们域名解析在Windows上hosts文件里 ,访问网站看到如下效果，说明我们成功了。