1. 技术文章
  2. Linux 集群架构

Linux 集群架构

由 三世轮回 提交于 2020-02-22 12:05:38

Linux 集群架构

一、Linux 集群概述

根据功能划分为两大类：高可用和负载均衡
高可用集群，通常为两台服务器，一台工作，另外一台作为冗余；当提供服务的机器宕机，冗余将接替继续提供服务。实现高可用的开源软件有：heartbeat、keepalived
负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理；在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2台。实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler。

二、高可用集群配置

1. keepalived介绍

在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果；keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。
Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析；check模块负责健康检查；vrrp模块是来实现VRRP协议的。

2. 用keepalived配置高可用

2.1 概述

准备两台机器253和254，253作为master，254作为backup
两台机器都安装keepalived：yum install -y keepalived
两台机器都安装nginx：yum install -y nginx（具体安装这里不做详细说明）
设定vip为100

2.2 master配置

  • 编辑master上keepalived配置文件（源文件内容删除，填写下面的配置）
    > /etc/keepalived/keepalived.conf（清空原配置数据）
    vim /etc/keepalived/keepalived.conf//参考内容 master_keepalived.conf
  • 编辑master监控脚本，并设置755权限
    vim /usr/local/sbin/check_ng.sh//参考内容：master-check_ng.sh
    chmod 755 /usr/local/sbin/check_ng.sh
  • 启动keepalived服务：systemctl start keepalived

2.3 backup 配置

  • 编辑backup上keepalived配置文件
    > /etc/keepalived/keepalived.conf（清空原配置数据）
    vim /etc/keepalived/keepalived.conf//参考内容：backup_keepalived.conf
  • 编辑backup监控脚本，并设置755权限
    vim /usr/local/sbin/chkeck_ng.sh//参考内容：backup-check_ng.sh
    chmod 755 /usr/local/sbin/chkeck_ng.sh
  • 启动keepalived服务： systemctl start keepalived

3. 测试高可用

先确定好两台机器上nginx差异，比如可以通过curl -I 来查看nginx版本

  • 测试1：关闭master上的nginx服务
  • 测试2：在master上增加iptabls规则iptables -I OUTPUT -p vrrp -j DROP
  • 测试3：关闭master上的keepalived服务
  • 测试4：启动master上的keepalived服务

三、负载均衡集群配置

1. 负载均衡介绍

主流开源软件LVS、keepalived、haproxy、nginx等；其中LVS属于4层（网络OSI 7层模型），nginx属于7层，haproxy既可以认为是4层，也可以当做7层使用；keepalived的负载均衡功能其实就是lvs；lvs这种4层的负载均衡是可以分发除80外的其他端口通信的，比如MySQL；而nginx仅仅支持http，https，mail；haproxy也支持MySQL；相比较来说，LVS这种4层的更稳定，能承受更多的请求，而nginx这种7层的更加灵活，能实现更多的个性化需求。

1.1 LVS 介绍

LVS是由国人章文嵩开发，流行度不亚于apache的httpd，基于TCP/IP做的路由和转发，稳定性和效率很高；最新版本基于Linux内核2.6，有好多年不更新了；
LVS有三种常见的模式：NAT、DR、IP Tunnel；LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）

1.2 LVS 三种工作模式

  • NAT模式：借助iptables的nat表来实现；用户的请求到分发器后，通过预设的iptables规则，把请求的数据包转发到后端的rs上去；rs需要设定网关为分发器的内网ip；用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈；在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源。
    NAT模式

  • IP Tunnel模式：需要有一个公共的IP配置在分发器和所有rs上，我们把它叫做vip；客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上； rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己。
    IP Tunnel

  • DR模式：也需要有一个公共的IP配置在分发器和所有rs上，也就是vip和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址； rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己
    DR 模式

1.3 LVS 调度算法

算法 缩写 注释
Round-Robin rr 轮询
Weight Round-Robin wrr 加权轮询
Least-Connection lc 最小连接
Weight Least-Connection wlc 加权最小连接
Locality-Based Least Connections lblc 基于局部性的最小连接
Locality-Based Least Connections with Replication lblcr 带复制的基于局部性最小连接
Destination Hashing dh 目标地址散列调度
Source Hashing sh 源地址散列调度

2. 负载均衡配置

2.1 NAT模式搭建

  • 概述
    三台机器：分发器（调度器 dir）、rs1、rs2；
    dir：内网IP：192.168.20.252，外网：192.168.147.144（vmware仅主机模式）
    rs1：内网IP：192.168.20.253，设置网关：192.168.20.252
    rs2：内网IP：192.168.20.254，设置网关：192.168.20.252
  • 配置itables NAT表环境（三台机器上都执行下列操作）
    • 停用Firewalld防火墙
      systemctl stop firewalld
      systemc disable firewalld
    • 启用iptables防火墙
      systemctl start iptables-services
      iptables -F//清空默认规则表
      service iptables save 保存
  • 配置dir
    安装ipvsadm： yum install -y ipvsdam
    编写脚本：vim /usr/local/sbin/lvs_nat.sh//内容如下
#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，阿铭的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.133.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.147.144:80 -s wlc -p 3  #-s wlc 为调度算法模式
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.20.253:80 -m -w 1
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.20.254:80 -m -w 1
  • NAT模式效果测试
    两台rs上都安装nginx；设置两台rs的主页，做一个区分，也就是说直接curl两台rs的ip时，得到不同的结果；浏览器里访问192.168.147.144，多访问几次看结果差异。

2.2 DR模式搭建

  • 概述
    三台机器：分发器，（调度器dir）、rs1、rs2；
    dir：192.168.20.252
    rs1：192.168.20.253
    rs2：192.168.20.254
    vip：192.168.20.100
  • 配置dir
    编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.20.100
rs1=192.168.20.253
rs2=192.168.20.254
#注意这里的网卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
  • rs配置
    两台rs上编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下
#/bin/bash
vip=192.168.20.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

分别在dir上和两个rs上执行这些脚本

  • 测试

2.3 Keepalived+LVS DR

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用；但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived ；
keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本 。

  • 概述
    三台机器：
    dir：192.168.20.252（安装keepalived）
    rs1：192.168.20.253
    rs2：192.168.20.254
    vip：192.168.20.100

  • 编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf// 获取lvs_keepalived.conf
    需要更改里面的ip信息；执行ipvsadm -C需要把之前的ipvsadm规则清空掉；systemctl restart network 可以把之前的vip清空掉；
    两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本；keepalived有一个比较好的功能，可以在一台rs宕机时，不再把请求转发过去。

  • 测试

四、参考脚本

1. master_keepalived.conf

global_defs {
   notification_email {
     aming@aminglinux.com
   }
   notification_email_from root@linux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass linux>com
    }
    virtual_ipaddress {
        192.168.20.100
    }
    track_script {
        chk_nginx
    }
}

2. master-check_ng.sh

#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

3. backup_keepalived.conf

global_defs {
   notification_email {
     aming@aminglinux.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass linux>com
    }
    virtual_ipaddress {
        192.168.20.100
    }
    track_script {
        chk_nginx
    }
}

4. backup-check_ng.sh

#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        systemctl start nginx
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

5. Keepalived+LVS DR

vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33，你的网卡可能不一样，这里需要你改一下
    interface ens33
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.20.100
    }
}
virtual_server 192.168.20.100 80 {
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 60
    #(用TCP协议检查realserver状态)
    protocol TCP

    real_server 192.168.20.253 80 {
        #(权重)
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.20.254 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}
标签
keepalived
iptables
高可用
linux系统
nginx集群
集群服务器
linux服务器
nginx
lvs
master
易学教程内所有资源均来自网络或用户发布的内容，如有违反法律规定的内容欢迎反馈！
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!