1. 技术文章
  2. 使用keepalived+haproxy搭建高可用服务器

使用keepalived+haproxy搭建高可用服务器

由 送分小仙女□ 提交于 2020-02-04 00:15:50

环境

HAProxy: 1.4.18

KeepAlived: 1.2.2

VIP: 192.168.1.99

M: 192.168.1.222

S: 192.168.1.189
架构图
192.168.1.99
±----------VIP----------+
| |
| |
Master Backup
192.168.1.189 192.168.1.222
±---------+ ±---------+
| HAProxy | | HAProxy |
|keepalived| |keepalived|
±---------+ ±---------+
|
v
±-------±--------+
| | |
| | |
v v v
±-----+ ±-----+ ±-----+
| WEB1 | | WEB2 | | WEB3 |
±-----+ ±-----+ ±-----+

  1. 安装HAProxy

安装pcre

yum install pcre
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.18.tar.gz
global
maxconn 20480 #默认最大连接数
log 127.0.0.1 local3 #[err warning info debug]
chroot /var/haproxy #chroot运行的路径
uid 99 #所属运行的用户uid
gid 99 #所属运行的用户组
daemon #以后台形式运行haproxy
nbproc 1 #进程数量(可以设置多个进程提高性能)
pidfile /var/run/haproxy.pid #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
ulimit-n 65535 #ulimit的数量限制

   #####################默认的全局设置###################### 
   ##这些参数可以被利用配置到frontend，backend，listen组件##

defaults
log global
mode http #所处理的类别 (#7层 http;4层tcp )
maxconn 20480 #最大连接数
option httplog #日志类别http日志格式
option httpclose #每次请求完毕后主动关闭http通道
option dontlognull #不记录健康检查的日志信息
option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
option redispatch #serverId对应的服务器挂掉后,强制定向到其他健康的服务器
option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接
stats refresh 30 #统计页面刷新间隔
retries 3 #3次连接失败就认为服务不可用，也可以通过后面设置
balance roundrobin #默认的负载均衡的方式,轮询方式
#balance source #默认的负载均衡的方式,类似nginx的ip_hash
#balance leastconn #默认的负载均衡的方式,最小连接
contimeout 5000 #连接超时
clitimeout 50000 #客户端超时
srvtimeout 50000 #服务器超时
timeout check 2000 #心跳检测超时

   ####################监控页面的设置#######################

listen admin_status #Frontend和Backend的组合体,监控组的名称，按需自定义名称
bind 0.0.0.0:65532 #监听端口
mode http #http的7层模式
log 127.0.0.1 local3 err #错误日志记录
stats refresh 5s #每隔5秒自动刷新监控页面
stats uri /admin?stats #监控页面的url
stats realm itnihao\ itnihao #监控页面的提示信息
stats auth admin:admin #监控页面的用户和密码admin,可以设置多个用户名
stats auth admin1:admin1 #监控页面的用户和密码admin1
stats hide-version #隐藏统计页面上的HAproxy版本信息
stats admin if TRUE #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)

   errorfile 403 /etc/haproxy/errorfiles/403.http 
   errorfile 500 /etc/haproxy/errorfiles/500.http 
   errorfile 502 /etc/haproxy/errorfiles/502.http 
   errorfile 503 /etc/haproxy/errorfiles/503.http 
   errorfile 504 /etc/haproxy/errorfiles/504.http 

   #################HAProxy的日志记录内容设置################### 
   capture request  header Host           len 40 
   capture request  header Content-Length len 10 
   capture request  header Referer        len 200 
   capture response header Server         len 40 
   capture response header Content-Length len 10 
   capture response header Cache-Control  len 8 
 
   #######################网站监测listen配置##################### 
   ###########此用法主要是监控haproxy后端服务器的监控状态############

listen site_status
bind 0.0.0.0:1081 #监听端口
mode http #http的7层模式
log 127.0.0.1 local3 err #[err warning info debug]
monitor-uri /site_status #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503
acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true
acl site_dead nbsrv(server_blog) lt 2
acl site_dead nbsrv(server_bbs) lt 2
monitor fail if site_dead #当满足策略的时候返回503，网上文档说的是500，实际测试为503
monitor-net 192.168.16.2/32 #来自192.168.16.2的日志信息不会被记录和转发
monitor-net 192.168.16.3/32

   ########frontend配置############ 
   #####注意，frontend配置里面可以定义多个acl进行匹配操作########

frontend http_80_in
bind 0.0.0.0:80 #监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似
mode http #http的7层模式
log global #应用全局的日志配置
option httplog #启用http的log
option httpclose #每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式
option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP
########acl策略配置#############
acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$
#如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写
acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn
#如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写
#acl itnihao hdr(host) -i itnihao.cn
#如果请求的域名满足itnihao.cn返回true -i是忽略大小写
#acl file_req url_sub -i killall=
#在请求url中包含killall=，则此控制策略返回true,否则为false
#acl dir_req url_dir -i allow
#在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false
#acl missing_cl hdr_cnt(Content-length) eq 0
#当请求的header中Content-length等于0时返回true

   ########acl策略匹配相应############# 
   #block if missing_cl 
   #当请求中header中Content-length等于0阻止请求返回403 
   #block if !file_req || dir_req 
   #block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求 
   use_backend  server_web  if itnihao_web 
   #当满足itnihao_web的策略时使用server_web的backend 
   use_backend  server_blog if itnihao_blog 
   #当满足itnihao_blog的策略时使用server_blog的backend 
   #redirect prefix http://blog.itniaho.cn code 301 if itnihao 
   #当访问itnihao.cn的时候，用http的301挑转到http://192.168.16.3 
   default_backend server_bbs 
   #以上都不满足的时候使用默认server_bbs的backend 

   ##########backend的设置############## 
   #下面我将设置三组服务器 server_web，server_blog，server_bbs

###########################backend server_web#############################
backend server_web
mode http #http的7层模式
balance roundrobin #负载均衡的方式，roundrobin平均方式
cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义
option httpchk GET /index.html #心跳检测的文件
server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
#服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，
#fall 3是3次失败认为服务器不可用，weight代表权重
server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
#服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，
#fall 3是3次失败认为服务器不可用，weight代表权重

###################################backend server_blog###############################################
backend server_blog
mode http #http的7层模式
balance roundrobin #负载均衡的方式，roundrobin平均方式
cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义
option httpchk GET /index.html #心跳检测的文件
server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
#服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
#服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

###################################backend server_bbs###############################################

backend server_bbs
mode http #http的7层模式
balance roundrobin #负载均衡的方式，roundrobin平均方式
cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义
option httpchk GET /index.html #心跳检测的文件
server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
#服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
#服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

查看HAProxy的状态：http://192.168.1.99/ admin?stats，这个页面会显示HAProxy本身以及后端服务器的状态。

  1. 日志
    haproxy会把日志记录发送到syslog server(CentOS6下是rsyslogd，UDP514端口)， 编辑/etc/rsyslog.conf文件，添加如下内容：

$ModLoad imudp
$UDPServerRun 514
$UDPServerAddress 127.0.0.1

local3.* /var/log/haproxy.log

/etc/init.d/rsyslog restart

自动轮转日志，编辑/etc/logrotate.d/haproxy.cfg，添加如下内容：

/var/log/haproxy.log
{
rotate 4
daily
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog > /dev/null 2>&1 || true
endscript
}

启动脚本： 拷贝以下内容到/etc/init.d/haproxy，并chmod +x /etc/init.d/haproxy，使用方式：/etc/init.d/haproxy start|stop|restart
#!/bin/bash
bin=/usr/local/sbin/haproxy
config=/etc/haproxy.cfg
pid=/tmp/haproxy.pid
opts=" -f ${config} -p ${pid} -D -V "
sleep_time=1

start() {
echo -e “Starting HAProxy…”

${bin} ${opts}
	
if [ "$?" != "0" ] ; then
	sleep ${sleep_time}
	echo " failed"
	exit 1
else
	sleep ${sleep_time}
	echo " done"
fi

}

stop() {
if [ ! -e ${pid} ] ; then
echo -e “HAProxy is not running”
exit 0
fi

echo -e "Shutting down HAProxy......"
	
kill $(cat ${pid})

if [ -e ${pid} ] ; then
	rm -f ${pid}
fi
	
if [ "$?" != "0" ] ; then
	sleep ${sleep_time}
	echo " failed"
	exit 1
else
	sleep ${sleep_time}
	echo " done"
fi

}

restart() {
stop
start
}

case “$1” in
start)
start
;;

stop)
	stop	
;;


restart)
	restart
;;


*)
	echo "Usage: $0 {start|stop|restart}"
	exit 1
;;

esac
3.安装KeepAlived
安装依赖库
yum install popt popt-devel

wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
tar -zxvf keepalived-1.2.2.tar.gz
cd keepalived-1.2.2
./configure --prefix=/usr/local/keepalived
make
make install

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/keepalived
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
mkdir -p /etc/keepalived/
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
chmod +x /etc/init.d/keepalived

#Master服务器上的配置 /etc/keepalived/keepalived.conf
global_defs {
notification_email {
user@example.com
}
notification_email_from mail@example.org
smtp_server 192.168.x.x
smtp_connect_timeout 30
router_id LVS_DEVEL
}

#监测haproxy进程状态，每2秒执行一次
vrrp_script chk_haproxy {
script “/usr/local/keepalived/chk_haproxy.sh”
interval 2
weight 2
}

vrrp_instance VI_1 {
state MASTER #标示状态为MASTER
interface eth0
virtual_router_id 51
priority 101 #MASTER权重要高于BACKUP
advert_int 1
mcast_src_ip 192.168.1.189 #Master服务器IP

authentication {
    auth_type PASS #主从服务器验证方式
    auth_pass 1111
}

track_script {
	chk_haproxy #监测haproxy进程状态
}

#VIP
virtual_ipaddress {
    192.168.1.99 #虚拟IP
}

}

#Bakcup服务器上的配置 /etc/keepalived/keepalived.conf
global_defs {
notification_email {
user@example.com
}
notification_email_from mail@example.org
smtp_server 192.168.x.x
smtp_connect_timeout 30
router_id LVS_DEVEL
}
#监测haproxy进程状态，每2秒执行一次
vrrp_script chk_haproxy {
script “/usr/local/keepalived/chk_haproxy.sh”
interval 2
weight 2
}

vrrp_instance VI_1 {
state BACKUP #状态为BACKUP
interface eth0
virtual_router_id 51
priority 100 #权重要低于MASTER
advert_int 1
mcast_src_ip 192.168.1.222 #Backup服务器的IP

authentication {
    auth_type PASS
    auth_pass 1111
}

track_script {
	chk_haproxy #监测haproxy进程状态
}
           
#VIP
virtual_ipaddress {
    192.168.1.99 #虚拟IP
}

}

#使用方式
/etc/init.d/keepalived start|stop|restart
chk_haproxy.sh内容

#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ];then
/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg 启动haproxy服务
fi
sleep 2 等待2秒
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ];then
service keepalived stop
fi

chmod +x /usr/local/keepalived/chk_haproxy.sh

  1. 高可用测试
  2. 在Master上停止keepalived，查看系统日志，发现MASTER释放了VIP
    /etc/init.d/keepalived stop
    tail -f /var/log/message
    Keepalived: Terminating on signal Keepalived: Stopping Keepalived v1.2.2 (11/03,2011)
    Keepalived_vrrp: Terminating VRRP child process on signal
    Keepalived_vrrp: VRRP_Instance(VI_1) removing protocol VIPs.
  3. 在Backup上查看系统日志，发现Backup已经进入MASTER角色，并且绑定了VIP 192.168.1.99
    tail -f /var/log/message
    Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
    Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs
    Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.99 #在Backup上查看VIP是否已经绑定
  4. 在Master上重新启动keepalived，查看系统日志，发现重新获得MASTER角色，并且绑定VIP 192.168.1.99
    /etc/init.d/keepalived start
    tail -f /var/log/message
    Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE
    Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
    Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.
    Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.99
  5. 在Backup上查看系统日志，发现其重新回到BACKUP角色，并且释放VIP
    tail -f /var/log/message
    Keepalived_vrrp: VRRP_Instance(VI_1) Received higher prio advert
    Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE
    Keepalived_vrrp: VRRP_Instance(VI_1) removing protocol VIPs.
标签
cookie
HAproxy
rise
inter
header
acl
易学教程内所有资源均来自网络或用户发布的内容，如有违反法律规定的内容欢迎反馈！
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!