集群服务器

一、利用ansible部署kubernetes集群环境准备 　 　基 于二进制方式部署和利用ansible-playbook实现自动化：既提供一键安装脚本，也可以分步执行安装各个组件，同时讲解每一步主要参数配置和注意事项；二进制方式部署有助于理解系统各组件的交互原理和熟悉组件启动参数，有助于快速排查解决实际问题。 版本组件 ： 　　kubernetes v1.9.7 　　etcd v3.3.4 　　docker 18.03.0-ce 　　calico/node:v3.0.6 　　calico/cni:v2.0.5 　　calico/kube-controllers:v2.0.4 　　centos 7.3+ 集群规划和基础参数设定： 　　1.高可用集群所需节点配置如下： 　　　　部署节点×1：运行ansible脚本的节点 　　　　etcd节点×3：注意etcd集群节点必须是1，3，5，7……奇数个节点 　　　　master节点×1：运行集群主要组件 　　　　node节点×3：真正应用部署的节点，根据需要增加机器配置和节点数 　　2.在部署节点准备ansible：使用ansible的docker环境启动： 　　　　1° 下载内部源配置脚本并运行脚本： wget http://download2.yunwei.edu/shell/yum-repo.shbash yum-repo.sh 　

链接： https://leetcode-cn.com/contest/weekly-contest-154/problems/critical-connections-in-a-network/ 力扣数据中心有 n 台服务器，分别按从 0 到 n-1 的方式进行了编号。 它们之间以「服务器到服务器」点对点的形式相互连接组成了一个内部集群，其中连接 connections 是无向的。 从形式上讲，connections[i] = [a, b] 表示服务器 a 和 b 之间形成连接。任何服务器都可以直接或者间接地通过网络到达任何其他服务器。 「关键连接」是在该集群中的重要连接，也就是说，假如我们将它移除，便会导致某些服务器无法访问其他服务器。 请你以任意顺序返回该集群内的所有 「关键连接」。 class Solution { public: vector<vector<int>> res;//答案 vector<int> dfn,low;//targan两个重要数组 vector<vector<int>> g;//存储图 int num;//编号 void tarjan(int x,int p) { dfn[x]=low[x]=++num; for(auto y:g[x]){ if(!dfn[y])//没有编号，也就是没有遍历到过，将它作为x的儿子结点 { tarjan(y,x);/

环境：jdk 1.8 + hadoop2.7.6+zookeeper3.4.9+centos7 一.安装zookeeper（集群模式） 0.安装机器 ip hostname 192.168.100.9 ns1 192.168.100.10 dn1 1. 下载zookeeper 2.zookeeper tar包一栋至 ns1的 /usr/local,解压 tar -zxvf zookeeper-3.4.9.tar.gz 3.修改zk配置文件 cd /usr/local/zookeeper-3.4.9/conf cp zoo_sample.cfg zoo.cfg 修改配置文件zoo.cfg（所有节点的配置文件相同） #tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳 tickTime=2000 #initLimit这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数 initLimit=10 #syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度

目录 基础概念 mem架构 mem内存管理 删除机制 分布式机制 memcache来存储session的特点 监控 常用命令 session server memcache与php memcache与tomcat ======================================================================= 张贺，多年互联网行业工作经验，担任过网络工程师、系统集成工程师、LINUX系统运维工程师 笔者微信：zhanghe15069028807,现居济南历下区 ======================================================================= # 基础概念 基础概念 memcached是什么？有什么作用？ 　　memcached是一个工作在内存的nosql的数据库，通常有两个作用，第一个作用是部署在real server集群的后端后做session server，存储用户的session信息，这样无论客户端调度到哪一台real server，都能够保持与客户端之前的会话。第二个作用是部署在关系型数据库的前端，做关系型数据库的缓存，其目的提升数据库的访问性能，加速网站集群动态应用服务的能力。 memcached服务在企业集群架构中应用场景 1.作为数据库的前端缓存应用 （1

准备 在开始部署 k8s 高可用集群时，请先参考 k8s高可用环境部署系统准备 操作系统兼容性 环境说明 集群部署前系统环境装备，请参考 k8s高可用环境部署系统准备.md 本次高可用集群基本参照 官网步骤 进行部署，官网给出了两种 拓扑结构 ：堆叠control plane node和external etcd node，本文基于第一种拓扑结构进行部署，使用 Keepalived + HAProxy 搭建高可用Load balancer，完整的拓扑图如下： 单个mastre节点将部署keepalived、haproxy、etcd、apiserver、controller-manager、schedule六种服务，load balancer集群和etcd集群仅用来为kubernetes集群集群服务，不对外营业。如果必要，可以将load balancer或者etcd单独部署，为kubernetes集群提供服务的同时，也可以为其他有需要的系统提供服务，比如下面这样的拓扑结构： 说明⚠️：这种拓扑结构也对应external etcd node～ 本文仅部署master节点，使用kubeadm部署worker节点非常简单，不在赘述，环境清单： 服务器 主机IP 主机名字 功能 k8s-master01 192.168.246.193 master01 master+etcd

RHCS提供的三个核心功能 　　 高可用集群是RHCS的核心功能。当应用程序出现故障，或者系统硬件、网络出现故障时，应用可以通过RHCS提供的高可用性服务管理组件自动、快速从一个节点切换到另一个节点，节点故障转移功能对客户端来说是透明的，从而保证应用持续、不间断的对外提供服务，这就是RHCS高可用集群实现的功能。 　　 RHCS通过LVS（LinuxVirtualServer）来提供负载均衡集群，而LVS是一个开源的、功能强大的基于IP的负载均衡技术，LVS由负载调度器和服务访问节点组成，通过LVS的负载调度功能，可以将客户端请求平均的分配到各个服务节点，同时，还可以定义多种负载分配策略，当一个请求进来时，集群系统根据调度算法来判断应该将请求分配到哪个服务节点，然后，由分配到的节点响应客户端请求，同时，LVS还提供了服务节点故障转移功能，也就是当某个服务节点不能提供服务时，LVS会自动屏蔽这个故障节点，接着将失败节点从集群中剔除，同时将新来此节点的请求平滑的转移到其它正常节点上来；而当此故障节点恢复正常后，LVS又会自动将此节点加入到集群中去。而这一系列切换动作，对用户来说，都是透明的，通过故障转移功能，保证了服务的不间断、稳定运行。 　　 RHCS通过GFS文件系统来提供存储集群功能，GFS是GlobalFileSystem的缩写，它允许多个服务同时去读写一个单一的共享文件系统

pgpool-II是一个工作于PostgreSQL服务器端和PostgreSQL客户端之间的中间件，它提供了如下的功能： 1.连接池 　　pgpool-II中保存了到PostgreSQL服务器的连接，然后当一个有着同样属性（也就是说用户名，数据库，协议版本相同）的新连接请求到来时，重用保存在pgpool-II中的连接。这样可以减轻连接的开销，改进这个系统吞吐量。 2.复制 　　pgpool-II能够管理多个PostgreSQL服务器。运用复制功能来在2个或者多个物理磁盘上创建数据库的实时备份，这样当一个磁盘出现故障时，系统　还能够继续提供服务。 3.负载平衡 　　 假设一个数据库复制成多个，无论在哪一个数据库服务器上执行Select查询都会返回相同的结果。pgpool-II利用了复制的特点，通过将Select查询步骤分配到多个数据库服务器上来减少每一个数据库服务器的负载，这样做改进了系统整体的吞吐量。系统性能将随着服务器的数量成比例的提高。当有许多用户同时执行多个请求时，负载平衡的优点就能很好体现出来。 4.限制多余的连接 　　 PostgreSQL数据库有一个最大并发连接数的限制，超过这个限制数的连接将会被拒绝。虽然能更改最大连接数，但是增加了资源消耗，影响了系统性能。pgpool-II也有最大连接数的限制，但是多余的连接将会被排成队列的形式等待，而不是马上返回一个错误的信息。

为什么需要集群？ 1、性能 Redis本身的QPS已经很高了，但是如果在一些并发量非常高的情况下，性能还是会受到影响。这个时候我们希望有更多的Redis服务来完成工作。 2、扩展 第二个是出于存储的考虑。因为Redis所有的数据都放在内存中，如果数据量大，很容易受到硬件的限制。升级硬件收效和成本比太低，所以我们需要有一种横向扩展的方法。 3、可用性 第三个是可用性和安全的问题。如果只有一个Redis服务，一旦服务宕机，那么所有的客户端都无法访问，会对业务造成很大的影响。另一个，如果硬件发生故障，而单机的数据无法恢复的话，带来的影响也是灾难性的。 可用性、数据安全、性能都可以通过搭建多个Reids服务实现。其中有一个是主节点（master），可以有多个从节点(slave)。主从之间通过数据同步，存储完全相同的数据。如果主节点发生故障，则把某个从节点改成主节点，访问新的主节点。 Redis主从复制（replication） 主从复制配置 例如一主多从,100是主节点，在每个slave节点的redis.conf配置文件增加一行 slaveof 192.168.1.100 6379 //在主从切换的时候，这个配置会被重写成： #GeneratedbyCONFIGREWRITE replicaof 192.168.1.100 6379 或者在启动服务时通过参数指定master节点： .

Amazon Elastic Container Service (Amazon ECS) 是一项高度可扩展的快速容器管理服务，可轻松运行、停止和管理集群上的 Docker 容器。 利用 Amazon ECS，可以通过简单的 API 调用来启动和停止基于容器的应用程序，可以从集中式服务获取集群状态，并可以访问许多熟悉的 Amazon EC2 功能 可以根据资源需求、隔离策略和可用性要求来安排容器在集群中的位置。借助ECS，无需操作自己的集群管理和配置管理系统，也无需担心扩展管理基础设施。 ECS 可用于创建一致的部署和构建体验，在微服务模型上构建先进的应用程序架构 ECS集成了Elastic Container Registry、Elastic Load Balancing、Elastic Block Store、Elastic Network Interfaces、Virtual Private Cloud、IAM 和 CloudTrail，可为您提供运行各种容器化应用程序或服务的完整解决方案 Amazon Elastic Container Registry (Amazon ECR) 是一项AWS Docker 容器注册表服务，可让开发人员轻松存储、管理和部署 Docker 容器映像。 启动类型 ECS支持两种启动类型：Fargate和EC2。 Fargate 启动类型

过去一段时间一直在忙于做网站的改版，因为内部的各个网站风格太乱，信息传送共享方面也不是很方便，所以领导直接要求换掉。差不多忙了有两个多月才把产品订了下来，在此期间我学习了很多，也了解了很多，现在就拿出来给大家分享一下我的心得。 一、什么是集团/企业网站集群化？ 这是个很深奥的问题，在此之前我想我们首先要明白一个概念，就是什么是集群。 所谓集群就是指一组计算机，它们作为一个整体向用户提供一组网络资源。一个单个的计算机系统就是集群的一个节点。一个理想的集群是：用户不能意识到集群系统底层的节点，在他们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增删改集群系统的节点。 集团/企业网站集群就是指把集团/企业的各个部门或子公司网站汇集成一个群体，但不是指简单的汇合。 二、集团/企业网站发展现状 随着互联网的发展，网站建设也发展了很多年。初始的建站思路就是为每个公司或部门等建立一个单独的网站。但是发展到今天，依然有很多的网络公司在给集团/企业建设网站时采用最初始的单独建站的思路，即建设的集团子网站一个个都是信息孤岛，不能信息共享，没有统一的管理平台，无法让各个部门或子公司建立产业链，从而背离互联网的核心优势。我们就是因为这个原因才改版的。 互联网越来越发展了，技术也应该跟着大大的进步，跟初始建立的网站相比，现在的建站比之前好看了、速度快了，这就可以了吗