HAproxy

最开始的网站架构 最初业务量不大，访问量小，此时的架构，应用程序、数据库、文件都部署在一台服务器上，有些甚至仅仅是租用主机空间 1. 应用、数据、文件分离 将应用程序、数据库、文件各自部署在独立的服务器上，并且根据服务器的用途配置不同的硬件，达到最佳的性能效果。 2. 利用缓存改善网站性能 大部分网站访问都遵循28原则,即80%的访问请求，最终落在20%的数据上,所以我们可以对热点数据进行缓存，减少热点数据的访问路径，提高用户体验。缓存实现常见的方式是本地缓存、分布式缓存。当然还有CDN、反向代理。 2.1 本地缓存 本地缓存，顾名思义是将数据缓存在应用服务器本地，可以存在内存中，也可以存在文件，组件。本地缓存的特点是速度快，但因为本地空间有限所以缓存数据量也有限。 2.2 分布式缓存 分布式缓存的特点是，可以缓存海量的数据，并且扩展非常容易，在门户类网站中常常被使用，速度按理没有本地缓存快，常用的分布式缓存是Memcached、Redis。 2.3 反向代理 部署在网站的机房，当用户请求达到时首先访问反向代理服务器，反向代理服务器将缓存的数据返回给用户，如果没有缓存数据才会继续访问应用服务器获取，这样做减少了获取数据的成本。 2.4 CDN 假设我们的服务器都部署在杭州的机房，对于浙江的用户来说访问是较快的，而对于北京的用户访问是较慢的

在多云世界中，跨云管理有状态的应用程序很困难，特别是调用大量数据集的应用程序。而这是以色列初创公司Replix正在解决的问题。 它提供了一个名为Replix Global Data Fabric的多云存储平台，使用户可以在不设置专用硬件或网络配置的情况下，跨区域和云提供商动态创建同步数据副本。 据该公司介绍，这是一项按量付费的托管服务，能够在10分钟内建立多云副本，目的是在云中重现高端on-prem存储解决方案的体验。 Replix产品负责人Michael Greenberg表示：“我们的目标是解决数据移动性方面的问题，能够在不同地点之间自由移动数据，无论是云提供商，还是你在内部的位置。基本上，如果你能移动数据，那么你就能移动应用程序。” 该服务与Kubernetes集成，提供了跨区域和云在集群之间切换工作负载的能力。除了灾难恢复之外，它还提供了根据业务需要移动应用程序的自由。 “这个挑战是业界难题——如何让应用程序更接近数据。我们看到了机会，可以稍微改变一下模式，为用户提供另一个自由度，在那里他们可以运行自己的应用程序，而无需耗时六个月进行迁移。” 通过使用存储卷，托管Replix Global Data Fabric采用了一个网格的数据中继网络，在云之间实时传输数据。用户不必在不同的云之间设置网络、配置甚至身份策略。 这家总部位于特拉维夫的公司成立于2017年

缘起 最近公司准备自建邮箱，大概十年前折腾过自建邮箱的事情，感觉坑很多，这次体会了下确实很多，特别是现在管局对邮箱端口管控越来越严格的情况下，很多之前能行得通的方案需要修改下。 由于SMTP、POP3、IMAP等协议需要做四层代理且还需要能穿透客户端真实IP，硬件网络层代理软件又不能使用的情况下只能考虑软代理，下面是记录的两种解决方案。 方案 Nginx解决方案 1.注意nginx编译时需要加上stream模块及stream_realip_module模块;一个用来四层负载，一个用来获取客户端真实IP 2.开启透传功能proxy_protocol on，用于将连接信息从请求连接的源传递到请求连接到的目标 具体配置如下 # /usr/local/nginx/sbin/nginx -V nginx version: nginx/1.16.1 built by gcc 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC) built with OpenSSL 1.0.2k-fips 26 Jan 2017 TLS SNI support enabled configure arguments: --prefix=/usr/local/nginx --with-stream --with-stream_realip_module # cat /usr/local

最开始的网站架构 最初业务量不大，访问量小，此时的架构，应用程序、数据库、文件都部署在一台服务器上，有些甚至仅仅是租用主机空间 1. 应用、数据、文件分离 将应用程序、数据库、文件各自部署在独立的服务器上，并且根据服务器的用途配置不同的硬件，达到最佳的性能效果。 2. 利用缓存改善网站性能 大部分网站访问都遵循28原则,即80%的访问请求，最终落在20%的数据上,所以我们可以对热点数据进行缓存，减少热点数据的访问路径，提高用户体验。缓存实现常见的方式是本地缓存、分布式缓存。当然还有CDN、反向代理。 2.1 本地缓存 本地缓存，顾名思义是将数据缓存在应用服务器本地，可以存在内存中，也可以存在文件，组件。本地缓存的特点是速度快，但因为本地空间有限所以缓存数据量也有限。OSCache就是常用的本地缓存。 2.2 分布式缓存 分布式缓存的特点是，可以缓存海量的数据，并且扩展非常容易，在门户类网站中常常被使用，速度按理没有本地缓存快，常用的分布式缓存是Memcached、Redis。 2.3 反向代理 部署在网站的机房，当用户请求达到时首先访问反向代理服务器，反向代理服务器将缓存的数据返回给用户，如果没有缓存数据才会继续访问应用服务器获取，这样做减少了获取数据的成本。反向代理有Squid，Nginx。 2.4 CDN 假设我们的服务器都部署在杭州的机房，对于浙江的用户来说访问是较快的

最开始的网站架构 最初业务量不大，访问量小，此时的架构，应用程序、数据库、文件都部署在一台服务器上，有些甚至仅仅是租用主机空间 1. 应用、数据、文件分离 将应用程序、数据库、文件各自部署在独立的服务器上，并且根据服务器的用途配置不同的硬件，达到最佳的性能效果。 2. 利用缓存改善网站性能 大部分网站访问都遵循28原则,即80%的访问请求，最终落在20%的数据上,所以我们可以对热点数据进行缓存，减少热点数据的访问路径，提高用户体验。缓存实现常见的方式是本地缓存、分布式缓存。当然还有CDN、反向代理。 2.1 本地缓存 本地缓存，顾名思义是将数据缓存在应用服务器本地，可以存在内存中，也可以存在文件，组件。本地缓存的特点是速度快，但因为本地空间有限所以缓存数据量也有限。 2.2 分布式缓存 分布式缓存的特点是，可以缓存海量的数据，并且扩展非常容易，在门户类网站中常常被使用，速度按理没有本地缓存快，常用的分布式缓存是Memcached、Redis。 2.3 反向代理 部署在网站的机房，当用户请求达到时首先访问反向代理服务器，反向代理服务器将缓存的数据返回给用户，如果没有缓存数据才会继续访问应用服务器获取，这样做减少了获取数据的成本。 2.4 CDN 假设我们的服务器都部署在杭州的机房，对于浙江的用户来说访问是较快的，而对于北京的用户访问是较慢的

摘要 在 详解http报文 相关文章中我们介绍了http协议是如何工作的，那么构建一个真实的网站还需要引入组件呢?一些常见的名词到底是什么含义呢？ 什么叫正向代理，什么叫反向代理 服务代理与负载均衡的差别 有了nginx，为啥还需要LVS 都有哪些负载均衡的方式 服务端演进 在前面文章中我们介绍过最简单的一种客户端-服务端响应模式，如下 这是http服务最简单的一种形式，服务端就一层web服务器。 现在我们服务端变复杂了，用户数增加了，并发量增加了。对我们服务端要求增加了 服务能力：一台服务器满足不了这么多的http的请求了。我们需要增加机器了，进行服务扩容了 安全防护：开始有人对我们的服务进行网络攻击了，需要保护服务端服务器，限制ip地址 网站升级: 网站上线后，需要提供7*24小时无间断服务了，发布新的版本，需要保证网站的可用。 代理服务 为了解决这些问题，我们需要引入 中间层 也就是代理，在客户端和服务端中间插入一个中间环节，代理服务。代理，狭义上讲就是不生产内容，只是转发上下游的请求和响应。 代理服务按照是否匿名可以分为 匿名代理： 外部不知道真实机器，只知道代理服务器 透明代理： 外界知道代理，也知道真实服务器 按照靠近客户端还是服务端，分为 正向代理： 代理客户端，代表着客户端向服务器端发送请求 反向代理： 代理服务端，代表着服务器向客户端发送请求。

摘要 在 详解 http 报文 相关文章中我们介绍了http协议是如何工作的，那么构建一个真实的网站还需要引入组件呢?一些常见的名词到底是什么含义呢？ 什么叫正向代理，什么叫反向代理 服务代理与负载均衡的差别 有了nginx，为啥还需要LVS 都有哪些负载均衡的方式 服务端演进 在前面文章中我们介绍过最简单的一种客户端-服务端响应模式，如下 这是http服务最简单的一种形式，服务端就一层web服务器。 现在我们服务端变复杂了，用户数增加了，并发量增加了。对我们服务端要求增加了 服务能力：一台服务器满足不了这么多的http的请求了。我们需要增加机器了，进行服务扩容了 安全防护：开始有人对我们的服务进行网络攻击了，需要保护服务端服务器，限制ip地址 网站升级: 网站上线后，需要提供7*24小时无间断服务了，发布新的版本，需要保证网站的可用。 代理服务 为了解决这些问题，我们需要引入 中间层 也就是代理，在客户端和服务端中间插入一个中间环节，代理服务。代理，狭义上讲就是不生产内容，只是转发上下游的请求和响应。 代理服务按照是否匿名可以分为 匿名代理：外部不知道真实机器，只知道代理服务器 透明代理：外界知道代理，也知道真实服务器 按照靠近客户端还是服务端，分为 正向代理：代理客户端，代表着客户端向服务器端发送请求 反向代理：代理服务端，代表着服务器向客户端发送请求。

Prometheus 监控Haproxy 普罗米修斯是一个完整的监控和趋势系统，包括基于时间序列数据的内置和主动刮削，存储，查询，绘图和警报，以下使用Prometheus+grafana对Haproxy进行监控，关于prometheus和Haproxy安装不再赘述。 客户端安装 安装Haproxy_exporter https://github.com/prometheus/haproxy_exporter/releases/download/v0.9.0/haproxy_exporter-0.9.0.linux-386.tar.gz tar xf haproxy_exporter-0.9.0.linux-386.tar.gz cd haproxy_exporter-0.7.1.linux-amd64 cp haproxy_exporter /usr/bin #192.168.1.1 本地服务器IP #5000 Haproxy端口 #9100 监控端口 haproxy_exporter --haproxy.scrape-uri="http://192.168.1.1:5000/baz?stats;csv" --web.listen-address="192.168.1.1:9100" & 服务端安装 Prometheus配置添加 find / -name prometheus

注意 本文，只是笔者针对Kubernetes生产环境运行的一些关于架构设计和实现方案的总结，内容很粗糙，后续会不断完善。 首先，我们来梳理下Kubernetes生产架构，其设计适用于绝大多数环境，如下图所示 在该架构中，我们可以将其分为四层，如下： Client层：即Kubernetes集群外部用户、客户端等； 服务访问层：即由Traefik ingress实现服务发现、负载均衡和路由规则定义等； 业务应用层：即基于Kubernetes平台构建和运行企业业务应用，如CI/CD持续集成、微服务项目、监控告警和日志管理、私有镜像仓库等服务； 基础设施层：即由Kubernetes容器管理平台和Ceph/NFS数据持久化存储等系统组成的基础设施服务。 下面，我们分别来谈谈各层的具体实现方案。 基础设施层 Kubernetes平台 部署管理：Kubernetes平台除了直接使用公有云如阿里云、AWS等云服务提供商的K8s服务外，我们还可以自己部署和管理等，如使用Kubespray工具。 网络通信：在容器和容器之间、容器和主机网络方面，可以使用 Calico 或Flannel等方案。 HA高可用：Kubernetes节点分为Master和Node两种类型节点，前者负责运行集群相关的控制管理服务，而后者负责运行Pod容器。在多Node节点模式下，由于Kubernetes