LVS学习笔记

LVS：Linux Virtual Server，实现LB（负载均衡） Cluster功能的一种流行软件。
与它有相同功能的软硬件：
硬件：F5 Big-IP , Citrix Netscaler , A10 A10
软件：lvs，nginx，haproxy，ats(apache traffic server)，perlbal，pound
LVS包含角色
VS:Virtual Server，RS:Real Server。VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RealServer，根据调度算法来挑选RS；
LVS集群的类型：

• lvs-nat：修改请求报文的目标IP；多目标IP的DNAT；
  多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发；
  （1）RIP和DIP必须在同一个IP网络，且应该使用私网地址；RS的网关要指向DIP；
  （2）请求报文和响应报文都必须经由Director转发；Director易于成为系统瓶颈；
  （3）支持端口映射，可修改请求报文的目标PORT；
  （4）vs必须是Linux系统，rs可以是任意系统；

• lvs-dr：操纵封装新的MAC地址，Direct Routing，直接路由；
  通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变；
  Director和各RS都得配置使用VIP；
  (1) 确保前端路由器将目标IP为VIP的请求报文发往Director：
  (a) 在前端网关做静态绑定；
  (b) 在RS上使用arptables；
  (c) 在RS上修改内核参数以限制arp通告及应答级别；
  修改arp_announce值为2
  修改arp_ignore值为1
  (2) RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director；
  (3) RS跟Director要在同一个物理网络；
  (4) 请求报文要经由Director，但响应不能经由Director，而是由RS直接发往Client；
  (5) 不支持端口映射；

• lvs-tun：在原请求IP报文之外新加一个IP首部；
  转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）；
  (1) DIP, VIP, RIP都应该是公网地址；
  (2) RS的网关不能，也不可能指向DIP；
  (3) 请求报文要经由Director，但响应不能经由Director；
  (4) 不支持端口映射；
  (5) RS的OS得支持隧道功能；

• lvs-fullnat：修改请求报文的源和目标IP；
  通过同时修改请求报文的源IP地址和目标IP地址进行转发；
  CIP --> DIP
  VIP --> RIP
  (1) VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP；
  (2) RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client；
  (3) 请求和响应报文都经由Director；
  (4) 支持端口映射；
  注意：此类型kernel默认不支持；

• 总结：
  lvs-nat, lvs-fullnat：请求和响应报文都经由Director；
  lvs-nat：RIP的网关要指向DIP；
  lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信；
  lvs-dr, lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client；
  lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发；
  lvs-tun：通过在原IP报文之外封装新的IP报文实现转发，支持远距离通信；

ipvs scheduler调度算法
根据其调度时是否考虑各RS当前的负载状态，可分为静态方法和动态方法两种：

• 静态方法：仅根据算法本身进行调度；
  RR：roundrobin，轮询；
  WRR：Weighted RR，加权轮询；
  SH：Source Hashing，实现session sticy，源IP地址hash；将来自于同一个IP地址的请求始终发往第一次挑中的RS，从而实现会话绑定；
  DH：Destination Hashing；目标地址哈希，将发往同一个目标地址的请求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡；
• 动态方法：主要根据每RS当前的负载状态及调度算法进行调度，Overhead=value较小的RS将被调度；
  LC：least connections适用于长连接应用
  Overhead=activeconns256+inactiveconns
  WLC：Weighted LC 默认调度算法
  Overhead=(activeconns256+inactiveconns)/weight
  SED：Shortest Expection Delay 初始连接高权重优先
  Overhead=(activeconns+1)*256/weight
  NQ：Never Queue 第一轮均匀分配，后续SED
  LBLC：Locality-Based LC，动态的DH算法；
  LBLCR：LBLC with Replication，带复制功能的LBLC；

• ipvsadm：
  程序包：ipvsadm
  Unit File: ipvsadm.service
  主程序：/usr/sbin/ipvsadm
  规则保存工具：/usr/sbin/ipvsadm-save
  规则重载工具：/usr/sbin/ipvsadm-restore
  配置文件：/etc/sysconfig/ipvsadm-config

• ipvsadm命令：
  核心功能：
  集群服务管理：增、删、改；
  集群服务的RS管理：增、删、改；
  查看：

  ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
  ipvsadm -D -t|u|f service-address
  ipvsadm -C
  ipvsadm -R
  ipvsadm -S [-n]
  ipvsadm -a|e -t|u|f service-address -r server-address [options]
  ipvsadm -d -t|u|f service-address -r server-address
  ipvsadm -L|l [options]
  ipvsadm -Z [-t|u|f service-address]

• 管理集群服务：增、改、删；
  增、改：
  ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

  删：
  ipvsadm -D -t|u|f service-address

  service-address：
  -t|u|f：
  -t: TCP协议的端口，VIP:TCP_PORT
  -u: TCP协议的端口，VIP:UDP_PORT
  -f：firewall MARK，是一个数字；

  [-s scheduler]：指定集群的调度算法，默认为wlc；

• 管理集群上的RS：增、改、删；
  增、改：
  ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

  删：
  ipvsadm -d -t|u|f service-address -r server-address

  server-address：
  rip[:port]

• 选项：
  lvs类型：
  -g: gateway, dr类型
  -i: ipip, tun类型
  -m: masquerade, nat类型

  -w weight：权重；

  清空定义的所有内容：
  ipvsadm -C

• 查看：
  ipvsadm -L|l [options]
  --numeric, -n：numeric output of addresses and ports
  --exact：expand numbers (display exact values)

  --connection， -c：output of current IPVS connections
  --stats：output of statistics information
  --rate ：output of rate information

• 保存和重载：
  ipvsadm -S = ipvsadm-save
  ipvsadm -R = ipvsadm-restore

上图中，其中10.0.0.0/8网段是公网，VIP：10.0.0.100是对外发布的WEB服务的访问地址。在实际生产中，客户端和企业内部路由器之间还有复杂的电信运营商网络，并不是这么简单的172.20同网段连接，这里做测试只能这么做了。并且这里使用的是一台服务器做路由器功能，因此对外IP和局域网IP需要配置在同一张网卡。

• 路由器服务器配置
  #vim /etc/sysconfig/network-scripts/ifcfg-ens33
  IPADDR="192.168.30.254"
  GATEWAY=""
  NETMASK="255.255.255.0"
  BOOTPROTO="static"
  DEVICE="ens33"
  ONBOOT="yes"
  #vim /etc/sysconfig/network-scripts/ifcfg-ens34
  BOOTPROTO=none
  IPADDR=172.20.95.25
  PREFIX=16
  NAME=ens34
  DEVICE=ens34
  ONBOOT=yes
  #systemctl restart network
  #ip addr add 10.0.0.254/8 dev ens33
  配置结果如下，
  
  

• VS服务器配置
  #vim /etc/sysconfig/network-scripts/ifcfg-ens33
  IPADDR="192.168.30.24"
  GATEWAY="192.168.30.254"
  NETMASK="255.255.255.0"
  BOOTPROTO="static"
  DEVICE="ens33"
  ONBOOT="yes"
  #yum -y install ipvsadm
  #ifconfig ens33:1 10.0.0.100 netmask 255.255.255.255
  #iptables -F
  #ipvsadm -A -t 10.0.0.100:80 -s wrr
  #ipvsadm -a -t 10.0.0.100:80 -r 192.168.30.26 -g -w 1
  #ipvsadm -a -t 10.0.0.100:80 -r 192.168.30.27 -g -w 1
  因为ipvs规则每次重启都会丢失，所以使用以下命令保存规则到指定文件
  #ipvsadm-save > /root/ipvs.rule
  如果重启，还原规则如下命令
  #ipvsadm-restore < /root/ipvs.rule
  配置结果如下
  
  
  

• RS服务器配置（httpd应用）
  #vim /etc/sysconfig/network-scripts/ifcfg-ens33
  IPADDR="192.168.30.26"
  GATEWAY="192.168.30.254"
  NETMASK="255.255.255.0"
  BOOTPROTO="static"
  DEVICE="ens33"
  ONBOOT="yes"
  #yum -y install httpd
  #service httpd start
  #echo "`hostname`" > /var/www/html/index.html (两台httpd服务器应该使用共享存储来达到访问相同资源的目的，这里为了测试才这样做)
  #echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
  #echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
  #echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
  #echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
  #ifconfig lo:1 10.0.0.100 netmask 255.255.255.255
  配置结果：
  
  
  
  以上是其中一台RS服务器配置，另一台相同，注意ens33的IP要配置各自的IP

• 客户端配置
  以下是我的配置，保证其中一张网卡和路由相同，我这里的是ens37
  
  路由配置：
  默认路由指向172.20.95.25即可，也可以像我这里一样单独指定10.0.0.0/8段指向172.20.95.25
  #route add -net 10.0.0.0/8 gw 172.20.95.25
  
  通过客户端测试：
  curl访问VIP地址的web服务成功。
  结果是我们在RS服务器上执行的“echo "`hostname`" > /var/www/html/index.html”给出的结果，并且是相同权重的轮询访问。
  

原文：https://www.cnblogs.com/allin2018/p/9270732.html