LVS工作原理及集群类型

Cluster概念

Cluster：集群,为解决某个特定问题将多台计算机组合起来形成的单个系统

Linux Cluster类型：

LB：Load Balancing，负载均衡

HA：High Availiablity，高可用，SPOF（single Point Of failure）

  MTBF:Mean Time Between Failure 平均无故障时间
  MTTR:Mean Time To Restoration（ repair）平均恢复前时间
  A=MTBF/（MTBF+MTTR） (0,1)：99%, 99.5%, 99.9%, 99.99%, 99.999%

HPC：High-performance computing，高性能 www.top500.org

分布式系统：

   分布式存储： Ceph，GlusterFS，FastDFS，MogileFS
   分布式计算：hadoop，Spark

① 集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。

② 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。

③ 集群组成后，可以利用多个计算机和组合进行海量请求处理（负载均衡），从而获得很高的处理效率，也可以用多个计算机做备份（高可用），使得任何一个机器坏了整个系统还是能正常运行。集群在目前互联网公司是必备的技术，极大提高互联网业务的可用性和可缩放性。

负载均衡集群技术

① 负载均衡（Load Balance）：负载均衡集群为企业需求提供了可解决容量问题的有效方案。负载均衡集群使负载可以在计算机集群中尽可能平均地分摊处理。

② 负载通常包括应用程序处理负载和网络流量负载。这样的系统非常适合向使用同一组应用程序的大量用户提供服务。每个节点都可以承担一定的处理负载，并且可以实现处理负载在节点之间的动态分配，以实现负载均衡。对于网络流量负载,当网络服务程序接受了高入网流量，以致无法迅速处理，这时，网络流量就会发送给在其它节点上运行的网络服务程序。也可根据服务器的承载能力，进行服务请求的分发，从而使用户的请求得到更快速的处理。

集群和分布式　

（1）集群：同一个业务系统，部署在多台服务器上。集群中，每一台服务器实现的功能没有差别，数据和代码都是一样的。

（2）分布式：一个业务被拆成多个子业务，或者本身就是不同的业务，部署在多台服务器上。分布式中，每一台服务器实现的功能是有差别的，数据和代码也是不一样的，分布式每台服务器功能加起来，才是完整的业务。

（3）分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

（4）对于大型网站，访问用户很多，实现一个群集，在前面部署一个负载均衡服务器，后面几台服务器完成同一业务。如果有用户进行相应业务访问时，负载均衡器根据后端哪台服务器的负载情况，决定由给哪一台去完成响应，并且一台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，如果一个节点垮了，那这个业务可能就会失败。

集群设计原则

（1）可扩展性—集群的横向扩展能力

（2）可用性—无故障时间(SLA)

（3）性能—访问响应时间

（4）容量—单位时间内的最大并发吞吐量(C10K 并发问题)

基础设施层面：

提升硬件资源性能—从入口防火墙到后端web server均使用更高性能的硬件资源
多域名—DNS 轮询A记录解析
多入口—将A记录解析到多个公网IP入口
多机房—同城+异地容灾
CDN(Content Delivery Network)—基于GSLB(Global Server Load Balance)实现全局负载均衡，如DNS

业务层面：

分层：安全层、负载层、静态层、动态层、(缓存层、存储层)持久化与非持久化
分割：基于功能分割大业务为小服务
分布式：对于特殊场景的业务，使用分布式计算

分布式

（1）分布式应用-服务按照功能拆分，使用微服务

（2）分布式静态资源--静态资源放在不同的存储集群上

（3）分布式数据和存储--使用key-value缓存系统

（4）分布式计算--对特殊业务使用分布式计算，比如Hadoop集群

Cluster分类

负载均衡集群技术的实现

硬件

F5 Big-IP
Citrix Netscaler
A10 A10

软件

lvs：Linux Virtual Server，阿里四层SLB (Server Load Balance)使用
nginx：支持七层调度，阿里七层SLB使用Tengine
haproxy：支持七层调度
ats：Apache Traffic Server，yahoo捐助给apache
perlbal：Perl 编写
pound

基于工作的协议层次划分：

传输层（通用）：DPORT

LVS：不支持应用层，不支持cookie
nginx：stream
haproxy：mode tcp

应用层（专用）：针对特定协议，自定义的请求模型分类

proxy server：
http：nginx, httpd, haproxy(mode http), ...
fastcgi：nginx, httpd, ...
mysql：mysql-proxy, ...

Cluster相关

会话保持：负载均衡

(1) session sticky：同一用户调度固定服务器

Source IP：LVS sh算法（对某一特定服务而言）
Cookie

(2) session replication：每台服务器拥有全部session

session multicast cluster

(3) session server：专门的session服务器

Memcached，Redis

HA集群实现方案

keepalived：vrrp协议

Ais：应用接口规范

heartbeat
cman+rgmanager(RHCS)
coresync_pacemaker

LVS介绍

LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名正明）

官网：http://www.linuxvirtualserver.org/

VS: Virtual Server，负责调度
RS: Real Server，负责真正提供服务
L4：四层路由器或交换机
阿里的四层LSB(Server Load Balance)是基于LVS+keepalived实现

工作原理：

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

（1）LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

（2）LVS自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。可以利用LVS技术实现高可伸缩的、高可用的网络服务，例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等，有许多比较著名网站和组织都在使用LVS架设的集群系统，例如：Linux的门户网站（www.linux.com）、向RealPlayer提供音频视频服务而闻名的Real公司（www.real.com）、全球最大的开源网站（sourceforge.net）等。

（3）LVS软件作用：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

优缺点：

高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。

稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。

成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。

配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。

支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用

支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。

应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等

缺点：工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

netfilter

iptables/netfilter：

iptables：用户空间的管理工具
netfilter：内核空间上的框架
流入：PREROUTING --> INPUT
流出：OUTPUT --> POSTROUTING
转发：PREROUTING --> FORWARD --> POSTROUTING
DNAT：目标地址转换； PREROUTING

内核支持

[root@magedu ~]# grep -i -A 10 "IPVS" /boot/config-3.10.0-862.el7.x86_64
# IPVS transport protocol load balancing support
CONFIG_IP_VS_PROTO_TCP=y #开启tcp
CONFIG_IP_VS_PROTO_UDP=y #开启udp
CONFIG_IP_VS_PROTO_AH_ESP=y
CONFIG_IP_VS_PROTO_ESP=y
CONFIG_IP_VS_PROTO_AH=y
CONFIG_IP_VS_PROTO_SCTP=y #
# IPVS scheduler #默认支持的算法
CONFIG_IP_VS_RR=m
CONFIG_IP_VS_WRR=m
CONFIG_IP_VS_LC=m
CONFIG_IP_VS_WLC=m
CONFIG_IP_VS_LBLC=m
CONFIG_IP_VS_LBLCR=m
CONFIG_IP_VS_DH=m
CONFIG_IP_VS_SH=m
CONFIG_IP_VS_SED=m

LVS集群体系结构

LVS 类型和专业术语

（1）专业术语

VS：Virtual Server Director Server(DS) #虚拟服务，负载调度

Director（调度器）, Load Balancer #负载均衡器、分发器

RS：Real Server #后端请求处理服务器

CIP: Client IP #客户端IP

VIP：Director Virtual IP #VS外网的IP

DIP：Director IP #VS内网IP

RIP：Real Server IP #后端请求处理服务器IP

访问流程：CIP <--> VIP == DIP <--> RIP

（2）lvs类型

lvs: ipvsadm/ipvs

ipvsadm：用户空间的命令行工具，规则管理器，用于管理集群服务及RealServer

ipvs：工作于内核空间netfilter的INPUT钩子上的框架

lvs集群的类型：

lvs-nat：修改请求报文的目标IP,多目标IP的DNAT
lvs-dr：操纵封装新的MAC地址
lvs-tun：在原请求IP报文之外新加一个IP首部
lvs-fullnat：修改请求报文的源和目标IP

LVS-NAT模式

（1）介绍

Virtual Server via NAT(VS-NAT):用地址翻译实现虚拟服务器｡地址转换器有能被外界访问到的合法IP地址,它修改来自专有网络的流出包的地址｡外界看起来包是来自地址转换器本身,当外界包送到转换器时,它能判断出应该将包送到内部网的哪个节点｡优点是节省IP 地址,能对内部进行伪装;缺点是效率低,因为返回给请求方的流量经过转换器｡

（2）工作流程

(a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP

(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

(c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。此时报文的源IP为CIP，目标IP为RIP，RS服务器的端口号可以是随机端口

(d). POSTROUTING链通过选路，将数据包发送给Real Server

(e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。此时报文的源IP为RIP，目标IP为CIP

(f). Director Server 把RS来到响应包，通过FORWORD 转发给client 在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。此时报文的源IP为VIP，目标IP为CIP

（3）特点：

本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发。

（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP

（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

（3）支持端口映射，可修改请求报文的目标PORT

（4）VS必须是Linux系统，RS可以是任意OS系统

VS/NAT的体系结构

NAT模式IP包调度过程

NAT模式

LVS-DR模式

（1）介绍

Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器｡当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点｡直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。

LVS-DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变。

（2）工作原理：

DR和REAL SERVER都使用同一个IP对外服务。但只有DR对ARP请求进行响应，所有REAL SERVER对本身这个IP的ARP请求保持静默。也就是说，网关会把对这个服务IP的请求全部定向给DR，而DR收到数据包后根据调度算法，找出对应的 REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER收到这个数据包，则等于直接从客户端收到这个数据包无异，处理后直接返回给客户端。由于DR要对二层包头进行改换，所以DR和REAL SERVER之间必须在一个广播域，也可以简单的理解为在同一台交换机上

（3）工作流程

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP

(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址

(d) 由于DS和RS在同一个网络中，所以是通过二层，数据链路层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

(e) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP，目标IP为CIP

(f) 响应报文最终送达至客户端

注意：在RS上修改内核参数以限制arp通告及应答级别，默认参数是0，避免LVS和RS的MAC地址冲突，将RS服务器的VIP内核参数绑定到lo接口上之后，有两种功能：一种是客户端通过arp广播寻找MAC地址时，RS服务器不应答自己的MAC地址反馈给客户端；避免与LVS广播的MAC地址冲突，第二种就是自己的MAC不对外宣告，让其他主机知道自己的MAC地址是多少，导致MAC地址冲突。

 /proc/sys/net/ipv4/conf/all/arp_ignore
 /proc/sys/net/ipv4/conf/all/arp_announce

此DR模型过程：客户端请求的过程中需要通过LVS调度转发给RS服务器，而RS服务端应答的过程中不需要经过LVS服务器。

（4）特点

① 保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

② RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问

③ RS跟LVS服务器（Director Server）必须在同一个物理网段

④ 所有的请求报文经由Director Server，但响应报文不需要经过过Director Server

⑤ 不支持地址转换，也不支持端口映射

⑥ RS可以是大多数常见的操作系统

⑦ RS的网关绝不允许指向DIP(因为我们不允许他经过director)

⑧ RS上的lo接口配置VIP的IP地址

注意：VIP和RIP可以在同一个网段，也可以不在一个网段，VIP是私网地址时，VIP和RIP可以在同一个网段，如果VIP是公网地址，RIP就不能和VIP在同一个网段，否则直接访问RIP地址即可，完全不需要VIP调度。

工作流程图：

TUN工作模式

1、定义

用IP隧道技术实现虚拟服务器｡这种方式是在集群的节点不在同一个网段时可用的转发机制,是将IP包封装在其他网络流量中的方法｡为了安全的考虑,应该使用隧道技术中的VPN,也可使用租用专线｡集群所能提供的服务是基于TCP/IP的Web服务､Mail服务､News服务､DNS服务､Proxy服务器等等.

TUN模式:采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报文通过IP隧道转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多，采用 VS/TUN技术后，集群系统的最大吞吐量可以提高10倍

2、工作流程

(a) 客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

(b) 负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。

(c) RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡直接发送给客户端。注意：需要设置lo接口的VIP不能在公网上出现

3、特点

(1) DIP, VIP, RIP都应该是公网地址

(2) RS的网关一般不能指向DIP

(3) 请求报文要经由Director，但响应不经由Director

(4) 不支持端口映射

(5) RS的OS须支持隧道功能