HAproxy

Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言-HiveSQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。 1-1 数据仓库概念 数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反应历史变化（Time Variant）的数据集合，用于支持管理决策。 数据仓库体系结构通常含四个层次 ：数据源、数据存储和管理、数据服务、数据应用。 数据源：是数据仓库的数据来源，含外部数据、现有业务系统和文档资料等 ；数据集成：完成数据的抽取、清洗、转换和加载任务，数据源中的数据采用ETL（Extract-Transform-Load）工具以固定的周期加载到数据仓库中。 数据存储和管理：此层次主要涉及对数据的存储和管理，含数据仓库、数据集市、数据仓库检测、运行与维护工具和元数据管理等 。 数据服务：为前端和应用提供数据服务， 可直接从数据仓库中获取数据供前端应用使用，也可通过OLAP（OnLine Analytical Processing，联机分析处理）服务器为前端应用提供负责的数据服务。 数据应用：此层次直接面向用户，含数据查询工具、自由报表工具

We've setup 3 servers: Server A with Nginx + HAproxy to perform load balancing backend server B backend server C Here is our /etc/haproxy/haproxy.cfg : global log /dev/log local0 log 127.0.0.1 local1 notice maxconn 40096 user haproxy group haproxy daemon defaults log global mode http option httplog option dontlognull retries 3 option redispatch maxconn 2000 contimeout 50000 clitimeout 50000 srvtimeout 50000 stats enable stats uri /lb?stats stats realm Haproxy\ Statistics stats auth admin:admin listen statslb :5054 # choose different names for the 2 nodes mode http stats enable stats hide

Haproxy搭建web群集 常见的Web集群调度器 目前常见的Web集群调度器分为软件和硬件，软件通常使用开源的LVS,Haproxy,Nginx,硬件一般使用比较多的是F5，也有很多人使用国内的一些 产品，如梭子，绿盟等 Haproxy应用分析 LVS在企业应用中负载能力很强，但存在不足 LVS不支持正则处理，不能实现动静分离 对于大型网站，LVS的实施配置复杂，维护成本相对较高 Haproxy是一款可提供高可用性，负载均衡，及基于TCP和HTTP应用的代理软件 特别适用于负载特别大的Web站点 运行在当前的硬件上可支持数以万计的并发连接连接请求 Haproxy的三种算法 RR (Round Robin) RR算法是最简单最常用的一种算法，轮询调度 举例理解 有三个节点A,B,C第一个用户访问会被指派到节点A，第二个用户访问会被指派到节点B，第三个用户访问会被指派到节点 第四个用户访问继续指派到节点A，轮询分配访问请求实现负载均衡 LC (Least Connections ) LC算法即最小连接算法，根据后端的节点连接数大小动态分配请求 举例理解 有三个节点A,B,C,各节点的连接数A:4,B:5,C:6，此时如果有第一个用户连接请求，会被指派到A上，连接数为A:5,B:5,C:6 第二个用户请求会继续分配到A上，连接数变为A:6,B:5,C:6,再有新的请求会分配到B

Haproxy搭建web群集 常见的Web集群调度器 目前常见的Web集群调度器分为软件和硬件，软件通常使用开源的LVS,Haproxy,Nginx,硬件一般使用比较多的是F5，也有很多人使用国内的一些 产品，如梭子，绿盟等 Haproxy应用分析 LVS在企业应用中负载能力很强，但存在不足 LVS不支持正则处理，不能实现动静分离 对于大型网站，LVS的实施配置复杂，维护成本相对较高 Haproxy是一款可提供高可用性，负载均衡，及基于TCP和HTTP应用的代理软件 特别适用于负载特别大的Web站点 运行在当前的硬件上可支持数以万计的并发连接连接请求 Haproxy的三种算法 RR (Round Robin) RR算法是最简单最常用的一种算法，轮询调度 举例理解 有三个节点A,B,C第一个用户访问会被指派到节点A，第二个用户访问会被指派到节点B，第三个用户访问会被指派到节点 第四个用户访问继续指派到节点A，轮询分配访问请求实现负载均衡 LC (Least Connections ) LC算法即最小连接算法，根据后端的节点连接数大小动态分配请求 举例理解 有三个节点A,B,C,各节点的连接数A:4,B:5,C:6，此时如果有第一个用户连接请求，会被指派到A上，连接数为A:5,B:5,C:6 第二个用户请求会继续分配到A上，连接数变为A:6,B:5,C:6,再有新的请求会分配到B

一、最开始的网站架构 二、应用、数据、文件分离 三、利用缓存改善网站性能 在硬件优化性能的同时，同时也通过软件进行性能优化，在大部分的网站系统中，都会利用缓存技术改善系统的性能，使用缓存主要源于热点数据的存在，大部分网站访问都遵循28原则（即80%的访问请求，最终落在20%的数据上），所以我们可以对热点数据进行缓存，减少这些数据的访问路径，提高用户体验。 四、使用集群改善应用服务器性能 应用服务器作为网站的入口，会承担大量的请求，我们往往通过应用服务器集群来分担请求数。应用服务器前面部署负载均衡服务器调度用户请求，根据分发策略将请求分发到多个应用服务器节点。 常用的负载均衡技术硬件的有F5，价格比较贵，软件的有LVS、Nginx、HAProxy。LVS是四层负载均衡，根据目标地址和端口选择内部服务器，Nginx是七层负载均衡和HAProxy支持四层、七层负载均衡，可以根据报文内容选择内部服务器，因此LVS分发路径优于Nginx和HAProxy，性能要高些，而Nginx和HAProxy则更具配置性，如可以用来做动静分离（根据请求报文特征，选择静态资源服务器还是应用服务器）。 五、数据库读写分离和分库分表 随着用户量的增加，数据库成为最大的瓶颈，改善数据库性能常用的手段是进行读写分离以及分表，读写分离顾名思义就是将数据库分为读库和写库，通过主备功能实现数据同步

角色 IP 角色 操作系统 备注 192.168.10.210 master CentOS 7 haproxy,keepalived主 192.168.10.211 master CentOS 7 haproxy,keepalived备 192.168.10.212 master CentOS 7 haproxy,keepalived备 192.168.10.213 node CentOS 7 只做节点 主机准备: 1.安装必要软件以及升级所有软件 yum -y install vim-enhanced wget curl net-tools conntrack-tools bind-utils socat ipvsadm ipset yum -y update 2.关闭selinux sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config 3.关闭不必要服务 systemctl disable auditd systemctl disable postfix systemctl disable irqbalance systemctl disable

HAproxy企业应用，TCP/HTTP动静分离 HAProxy的是一个免费的、开源的的tcp/http反向代理工具、负载均衡器，是一个企业非常快速和可靠的安全的解决方案，提供高可用性、高并发性，负载均衡和代理对TCP和基于HTTP的应用程序。它特别适用于流量非常高的网站。它已成为事实上的标准开源负载均衡器，现在随大多数主流Linux发行版一起提供，在互联网领域应用也是非常广泛，受欢迎的第三方工具。 在企业实际应用环境中，往往会根据业务请求将相关不同请求跳转到指定的后端服务器，比如客户静态资源请求交给后端静态资源服务器处理，php请求交给后端动态资源Apache服务进行处理，jsp请求交给后端动态资源tomcat服务进行处理，即业务上的应用请求分离，我们这里可以通过haproxy完全可以利用acl匹配规则实现这一目的，以实现动静分离效果；除了haproxy外，其实还可以通过nginx的acl规则也可以完全实现，不过这些强大的工具往往是在Linux服务器上面跑才能发挥最佳性能，其实这些东西安装和配置非常简单，只需要有Linux基础，懂得一些Linux基础的命令就完全可以实现强大的功能，我也是在《Linux就该这么学》这本树入门Linux，非常适合于初学者。 现在好多企业购买负载均衡器硬件设备，其实这些硬件设备都是通过潜入软件来实现的，可能性能还没有那么好