haproxy配置

1. 架构设计和环境设计 1.1. 架构设计 部署 Haproxy 为 Kubernetes 提供 Endpoint 访问入口 使用 Keepalived 将 Endpoint 入口地址设置为 Virtual IP 并通过部署多台节点的方式实现冗余 使用 kubeadm 部署高可用 Kubernetes 集群, 指定 Endpoint IP 为 Keepalived 生成的 Virtual IP 使用 prometheus 作为 Kubernetes 的集群监控系统, 使用 grafana 作为图表监控图表展示系统, 使用 alertmanager 作为报警系统 使用 jenkins + gitlab + harbor 构建 CI/CD 系统 使用单独的域名在 Kubernetes 集群内进行通信, 在内网搭建 DNS 服务用于解析域名 1.2. 环境设计 主机名 IP 角色 kube-master-01.sk8s.io-01.sk8s.io 192.168.0.201 k8s master, haprxoy + keepalived(虚拟IP: 192.168.0.250) kube-master-01.sk8s.io-02.sk8s.io 192.168.0.202 k8s master, haprxoy + keepalived(虚拟IP: 192.168.0.250)

5分钟入门haproxy+keepalived haproxy 开源LB keepalived 开源HA # 架构一 两台服务器,不能使用与业务相同端口，不能代理原有业务的ssl websrv1:8080/8443 haproxy1:80/443 keepalived1-master websrv2:8080/8443 haproxy1:80/443 keepalived1-backup # 架构二 四台服务器,可以使用与业务相同端口，不能代理原有业务的ssl websrv1:8080/8443 websrv2:8080/8443 haproxy1:8080/8443 keepalived1-master haproxy2:8080/8443 keepalived1-backup 实验按架构一布署，架构二基本类似 1. soft install yum install -y haproxy keepalived openssl systemctl enable haproxy keepalived && systemctl restart haproxy keepalived 2. keepalived (只做HA Keepalived可以单独配置) vi /etc/keepalived/keepalived.conf MASTER (keepalived1-master) !

一、部署第一台Nginx网站 关于Nginx的原理概述及详细配置请参考博文： Centos 7部署Nginx网站服务 [root@centos01 ~]# yum -y install prce-devel zlib-devel <!--安装Nginx依赖--> [root@centos01 ~]# useradd -M -s /sbin/nologin nginx <!--创建管理Nginx账户--> [root@centos01 ~]# umount /mnt/ <!--切换Linux光盘-> [root@centos01 ~]# mount /dev/cdrom /mnt/ <!--挂载光盘--> mount: /dev/sr0 写保护，将以只读方式挂载 [root@centos01 ~]# scp /mnt/nginx-1.6.0.tar.gz root@192.168.100.20:/root <!--复制Nginx包到第二台Nginx服务器--> The authenticity of host '192.168.100.20 (192.168.100.20)' can't be established. ECDSA key fingerprint is SHA256:PUueT9fU9QbsyNB5NC5hbSXzaWxxQavBxXmfoknXl4I. ECDSA

LVS： 优点 : 1、抗负载能力强、性能高，能达到F5硬件的60%；对内存和cpu资源消耗比较低 2、工作在网络4层，通过vrrp协议转发（仅作分发之用），具体的流量由linux内核处理，因此没有流量的产生。 3、稳定性、可靠性好，自身有完美的热备方案；（如：LVS+Keepalived） 4、应用范围比较广，可以对所有应用做负载均衡； 5、支持负载均衡算法：rr（轮循）、wrr（带权轮循）、lc（最小连接）、wlc（权重最小连接） 缺点： 1、不支持正则处理，不能做动静分离。 2、配置 复杂，对网络依赖比较大，稳定性很高。 Ngnix： 优点： 1、工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构； 2、Nginx对网络的依赖比较小，理论上能ping通就就能进行负载功能； 3、Nginx安装和配置比较简单，测试起来比较方便； 4、也可以承担高的负载压力且稳定，一般能支撑超过1万次的并发； 5、对后端服务器的健康检查，只支持通过端口来检测，不支持通过url来检测。 6、Nginx对请求的异步处理可以帮助节点服务器减轻负载； 7、Nginx仅能支持http、https和Email协议，这样就在适用范围较小。 8、不支持Session的直接保持，但能通过ip_hash来解决。、对Big request header的支持不是很好， 9

Haproxy 搭建Web群集 一：常见的Web集群调度器 Web集群调度器分为软件和硬件，软件通常使用开源的LVS、Haproxy、Nginx ；硬件一般使用比较多的F5。 二：Haproxy应用分析 Haproxy是一 款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件 ● 特别适用于负载特别大的Web站点 ● 运行在当前的硬件上可支持数以万计的并发连接连接请求 三：Haproxy调度算法 Haproxy支持多种算法，最常见的三种： RR（Round Robin） RR算法是最简单的一种算法，即轮询调度 LC（Least Connections） LC算法即最小连接数算法，根据后端的节点连接数大小动态分配前端请求 SH（Source Hashing） SH即基于来源访问调度算法，此算法用于一些有Session会话记录在服务器端 的场景，可以基于来源的IP、Cookie等做集群调度。 四：实验步骤 1、实验环境 Nginx安装包，链接: https://pan.baidu.com/s/1W2dvxYlyEP4QgHqXNtQWXQ 提取码: 9vh7 Hproxy安装包，链接: https://pan.baidu.com/s/1ST5CsFCVvM1kFLK537kybQ 提取码: 2csa 复制这段内容后打开百度网盘手机App，操作更方便哦 2、实验过程 ###

服务器 20.0.0.206 10.0.0.206 bs-hk-hk01 高可用负载均衡节点 2c2g 20.0.0.207 10.0.0.207 bs-hk-hk02 高可用负载均衡节点 2c2g 软件版本 Keepalived 2.0.20 haproxy 2.1.2 Keepalived 安装配置 两个节点都安装 以bs-hk-hk01为例 #安装依赖包 [root@bs-hk-hk01 tools]#yum -y install gcc openssl-devel libnl3-devel pcre-devel [root@bs-hk-hk01 tools]# ls haproxy-2.1.2.tar.gz keepalived-2.0.20.tar.gz [root@bs-hk-hk01 tools]# tar -zvxf keepalived-2.0.20.tar.gz [root@bs-hk-hk01 keepalived-2.0.20]# ./configure --prefix=/usr/local/keepalived-2.0.20 [root@bs-hk-hk01 keepalived-2.0.20]# echo $? 0 [root@bs-hk-hk01 keepalived-2.0.20]# make && make install [root@bs-hk

本实验全部在haproxy1.5.19版本进行测试通过，经过测试1.7.X及haproxy1.3版本以下haproxy配置参数可能不适用，需要注意版本号。 一、业务要求 现在根据业务的实际需要，有以下几种不同的需求。如下： 1.1 http跳转https 把所有请求http://www.chinasoft.com的地址全部跳转为https//:www.chinasoft.com这个地址 1.2 http与https并存 服务器同时开放http://www.chinasoft.com和https://www.chinasoft.com的访问形式 1.3 服务器环境准备 node1即haproxy所在服务器的处理 安装依赖 yum install -y openssl openssl-devel readline-devel pcre-devel libssl-dev libpcre3 # 下载安装包， tar zxf haproxy-1.5.19.tar.gz cd haproxy-1.5.19 useradd -u 188 -r -d /var/lib/haproxy -s /sbin/nologin haproxy # 加入支持ssl的编译参数 make TARGET=linux2628 USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_CRYPT

当前大多数的互联网系统都使用了服务器集群技术，集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是 Web 应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等等。 在实际应用中，在 Web 服务器集群之前总会有一台负载均衡服务器，负载均衡设备的任务就是作为 Web 服务器流量的入口，挑选最合适的一台 Web 服务器，将客户端的请求转发给它处理，实现客户端到真实服务端的透明转发。 最近几年很火的「云计算」以及分布式架构，本质上也是将后端服务器作为计算资源、存储资源，由某台管理服务器封装成一个服务对外提供，客户端不需要关心真正提供服务的是哪台机器，在它看来，就好像它面对的是一台拥有近乎无限能力的服务器，而本质上，真正提供服务的，是后端的集群。 LVS、Nginx、HAProxy 是目前使用最广泛的三种软件负载均衡软件。 一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的 Web 应用，比如日 PV 小于1000万，用 Nginx 就完全可以了；如果机器不少，可以用 DNS 轮询，LVS 所耗费的机器还是比较多的；大型网站或重要的服务，且服务器比较多时，可以考虑用 LVS。 目前关于网站架构一般比较合理流行的架构方案： Web 前端采用 Nginx/HAProxy

Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件。一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还是比较多的；大型网站或重要的服务，且服务器比较多时，可以考虑用LVS。 一种是通过硬件来进行，常见的硬件有比较昂贵的F5和Array等商用的负载均衡器，它的优点就是有专业的维护团队来对这些服务进行维护、缺点就是花销太大，所以对于规模较小的网络服务来说暂时还没有需要使用；另外一种就是类似于Nginx/LVS/HAProxy的基于 Linux的开源免费的负载均衡软件，这些都是通过软件级别来实现，所以费用非常低廉。 目前关于网站架构一般比较合理流行的架构方案：Web前端采用Nginx/HAProxy+ Keepalived作负载均衡器；后端采用 MySQL数据库一主多从和读写分离，采用LVS+Keepalived的架构。当然要根据项目具体需求制定方案。 下面说说各自的特点和适用场合。 Nginx的优点是： 1. 工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构，它的正则规则比HAProxy更为强大和灵活，这也是它目前广泛流行的主要原因之一

1.概述 　　这篇博客是接着《高可用Hadoop平台》系列讲，本篇博客是为后面用 Hive 来做数据统计做准备的，介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具，下面我打算分以下流程来赘述： 环境准备 集成并配置 Hive 工具 使用 Java API 开发 Hive 代码 　　下面开始进行环境准备。 2.环境准备 　　Hive版本：《 Hive-0.14 》 　　HAProxy版本：《 HAProxy-1.5.11 》 　　 注：前提是 Hadoop 的集群已经搭建完成，若还没用完成集群搭建，可以参考《 配置高可用的Hadoop平台 》 　　需要安装的工具，我们已经准备好了，接下来给出 Hive 搭建的结构图，如下图所示： 　　这里由于集群资源有限，所以将 HAProxy1 配置在 NNA 节点，HAProxy2 配置在 NNS 节点，Hive1，Hive2，Hive3分别配置在 DN1，DN2，DN3 节点。如下表所示： 服务器 角色 NNA HAProxy1 NNS　 HAProxy2 DN1 Hive1 DN2　 Hive2 DN3 Hive3 　　我们将下载好的 Hive 安装包和 HAProxy 安装包用 scp 命令，参考上表格分别分发到对应的节点。 　　 注：hive 指定的 HDFS 必须是相同的，否则，统计的数据源不同，那么统计是没有意义的。