HAproxy

从Prometheus官方网站可以看到，官方网站已经有支持对HAProxy软件的exporter，我们从官方网站下载下来进行使用，也可以通过下载HAProxy的项目地址，通过编译进行部署。 github项目地址 https://github.com/prometheus/haproxy_exporter 二进制可执行程序地址 https://prometheus.io/download/ 原理解析 通过查看源码，haproxy_exporter是对uri地址获取到的csv内容进行解析，所以需要配置HAProxy，以便暴露HAProxy的状态信息。 func ( e * Exporter ) scrape ( ch chan <- prometheus . Metric ) ( up float64 ) { e . totalScrapes . Inc ( ) body , err := e . fetch ( ) if err != nil { level . Error ( e . logger ) . Log ( "msg" , "Can't scrape HAProxy" , "err" , err ) return 0 } defer body . Close ( ) reader := csv . NewReader ( body ) reader .

RabbitMQ简介 RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。 RabbitMQ是一套开源（MPL）的消息队列服务软件，是由LShift提供的一个Advanced Message Queuing Protocol（AMQP）的开源实现，由以高性能、健壮以及可伸缩性出名的Erlang写成。 选择RabbitMQ 市面上有很多MQ可以选择，如：ActiveMQ、ZeroMQ、Apache Qpid及RocketMQ，为什么要选择RabbitMQ呢？ 1. 除了Qpid，RabbitMQ是唯一一个实现了AMQP标准的消息服务器； 2. 可靠性，RabbitMQ的持久化支持，保证了消息的稳定性； 3. 高并发，RabbitMQ使用了Erlang开发语言，Erlang是为电话交换机开发的语言，天生自带高并发光环和高可用特性； 4. 集群部署简单，正是应为Erlang使得RabbitMQ集群部署变的超级简单； 5. 社区活跃度高，从网上资料来看，RabbitMQ也是首选 工作机制 1. 消息模型 生产者、消费者和代理 生产者（producer）：消息的创建者，负责创建和推送数据到消息服务器； 消费者（consumer）：消息的接收方，用于处理数据和确认消息； 代理（proxy）：就是RabbitMQ本身，用于扮演“快递”的角色

Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件。一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还是比较多的；大型网站或重要的服务，且服务器比较多时，可以考虑用LVS。 一种是通过硬件来进行，常见的硬件有比较昂贵的F5和Array等商用的负载均衡器，它的优点就是有专业的维护团队来对这些服务进行维护、缺点就是花销太大，所以对于规模较小的网络服务来说暂时还没有需要使用；另外一种就是类似于Nginx/LVS/HAProxy的基于 Linux的开源免费的负载均衡软件，这些都是通过软件级别来实现，所以费用非常低廉。 目前关于网站架构一般比较合理流行的架构方案：Web前端采用Nginx/HAProxy+ Keepalived作负载均衡器；后端采用 MySQL数据库一主多从和读写分离，采用LVS+Keepalived的架构。当然要根据项目具体需求制定方案。 下面说说各自的特点和适用场合。 Nginx的优点是： 1. 工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构，它的正则规则比HAProxy更为强大和灵活，这也是它目前广泛流行的主要原因之一

1.概述 　　这篇博客是接着《高可用Hadoop平台》系列讲，本篇博客是为后面用 Hive 来做数据统计做准备的，介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具，下面我打算分以下流程来赘述： 环境准备 集成并配置 Hive 工具 使用 Java API 开发 Hive 代码 　　下面开始进行环境准备。 2.环境准备 　　Hive版本：《 Hive-0.14 》 　　HAProxy版本：《 HAProxy-1.5.11 》 　　 注：前提是 Hadoop 的集群已经搭建完成，若还没用完成集群搭建，可以参考《 配置高可用的Hadoop平台 》 　　需要安装的工具，我们已经准备好了，接下来给出 Hive 搭建的结构图，如下图所示： 　　这里由于集群资源有限，所以将 HAProxy1 配置在 NNA 节点，HAProxy2 配置在 NNS 节点，Hive1，Hive2，Hive3分别配置在 DN1，DN2，DN3 节点。如下表所示： 服务器 角色 NNA HAProxy1 NNS　 HAProxy2 DN1 Hive1 DN2　 Hive2 DN3 Hive3 　　我们将下载好的 Hive 安装包和 HAProxy 安装包用 scp 命令，参考上表格分别分发到对应的节点。 　　 注：hive 指定的 HDFS 必须是相同的，否则，统计的数据源不同，那么统计是没有意义的。

需求：简单的4层（SSH）和7层（HTTP)反向代理 架设环境：CentOS 8 安装 > sudo dnf install haproxy 配置 > sudo vim /etc/haproxy/haproxy.cfg # 以下是关键修改部分 global ... maxconn 20480 ulimit-n 65535 ... default ... stats uri /haproxy?stats # 查看haproxy的状态，地址http://<haproxy_ip>/haproxy?stats ... # 定义7层HTTP转发 frontend sdc bind *:80 # define acl for different streamset data controller server acl sdc1-policy hdr_dom(host) -i sdc1.3rd.pla95929 acl sdc2-policy hdr_dom(host) -i sdc2.3rd.pla95929 # back end for acl use_backend server_sdc1 if sdc1-policy use_backend server_sdc2 if sdc2-policy # send X-Forwarded-For header option forwardfor

使用场景 假如要实现这样的环境：haproxy反向代理4个nginx节点，nginx1和nginx2结合php提供动态web服务，nginx3和nginx4提供静态web服务。如下图： 由于默认配置文件中和超时时间相关的设置比较不合理，所以建议修改这些时间。另外还有些建议开启或关闭的的项也尽量开启或关闭。 haproxy配置说明 关于 haproxy 安装与配置，可详见 HaProxy安装和常用命令 haproxy 默认配置说明 #查看默认 haproxy.cfg 配置文件 cat /usr/local/haproxy/conf/haproxy.cfg global log 127.0.0.1 local2 # 需要设置/etc/rsyslog.conf加上local2设备的日志记录级别和日志路径 chroot /usr/local/haproxy #这里通过编译安装到/usr/local/haproxy，yum安装默认在/var/lib/haproxy pidfile /var/run/haproxy.pid maxconn 4000 # 这是前端对外的最大连接数。代理http时，1G空闲内存承载20000以上没大问题 user haproxy group haproxy daemon stats socket /var/lib/haproxy/stats # 开启动态查看

HAparoxy《一》——基础介绍以及安装 HAparoxy《二》——调度算法以及IP透传 基于cookie的会话保持 cookie value：为当前server指定cookie值，实现基于cookie的会话黏性 配置选项 cookie name [ rewrite | insert | prefix ] [ indirect ] [ nocache ] [ postonly ] [ preserve ] [ httponly ] [ secure ] [ domain ] * [ maxidle < idle > ] [ maxlife ] name：cookie 的key名称，用于实现持久连接 insert：如果没有就插入新的cookie indirect：不会向客户端发送服务器已经处理过请求的cookie信息 nocache：当client和hapoxy之间有缓存时，haproxy不缓存客户端cookie，因为客户端浏览器会缓存 cookie并携带cookie访问haproxy 配置示例 listen web_host bind 192.168.7.101:80 mode http log global balance roundrobin cookie SERVER-COOKIE insert indirect nocache server web1 192.168.7

haproxy负载均衡服务器 作者：小阿宇 优点： 1.开源免费 2.单进程的工作模式 3.支持拒绝连接，可以防止ddos攻击 4.支持透明代理 四层负载和七层负载 四层负载： lvs nginx haproxy 传输层 基于ip和端口实现，传输的速度非常快， 负载不做任何的解析，直接将客户端的请求交给后端的服务器 不安全。 七层负载： nginx haproxy 应用层 负载均衡服务器会和客户端建立tcp连接，接受其内容， 并通过url的路径及进行解析，过滤出客户端的请求的资源 （index.php），会根据过滤出的请求交给后端比较适合的服务器 还可以拒绝空连接。比较安全，速度慢。 nginx 2拖10 四层 调度算法 roundrobin 动态轮询 weight 不需要重启haproxy static—rr 静态轮询 weight 需要重启haproxy才能生效 leastconnect 最小连接 source 源地址散列 源地址 hash haproxy负载web 客户端 192.168.2.100 负载 192.168.2.10 web1 192.168.2.20 httpd 1111 web2 192.168.2.30 httpd 2222 负载端： 8：工作目录 21：客户端访问时产生的cookie的对应节点坏掉，就会直接定向到另一台上面 在27行esc-》100dd