分布式部署

详见： http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt280 防火墙是一个系统或一组系统，它在内网与Internet间执行一定的安全策略。典型的防火墙应包含如下模块中的一个或多个：包过滤路由器、应用层网关（或代理服务器）以及链路层网关。 防火墙的功能大体为以下五个方面： 1、通过防火墙可以定义一个关键点以防止外来入侵 2、监控网络的安全并在异常情况下给出报警提示 3、提供网络地址转换功能 4、防火墙可查询或登记Internet的使用情况 5、防火墙是为客户提供服务的理想位置，即在其上可以配置相应的服务，使Internet用户仅可以访问此类服务，而禁止对保护网络的其他系统的访问。 2.2.1 传统的边界防火墙 1、过滤式防火墙 包过滤是第一代防火墙技术，它主要包含了前面提到的包过滤路由器。这是一种通用、廉价、有效的安全手段。它对每一个数据报的包头，按照包过滤规则进行判定，与规则相匹配的包依据路由表信息继续转发，否则丢弃。 它的优点很明显： Ø 它工作在网络层，所以效率高速度也很快而且它不用改动客户机和主机上的应用程序。 Ø 大多数防火墙配置成无状态的包过滤路由器，因而实现包过滤几乎没有任何耗费。 Ø 另外，它对用户和应用来说是透明的，每台主机无需安装特定的软件，使用起来比较方便。 不过它的缺点也很明显： Ø

CAP理论就是说在分布式存储系统中，最多只能实现上面的两点。 而由于当前的网络硬件肯定会出现延迟丢包等问题，所以 分区容忍性是我们必须需要实现的。 所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。 ======================================================================================================================= C:强一致性 A：高可用性 P：分布式容忍性 CA 传统Oracle数据库 AP 大多数网站架构的选择 CP Redis、Mongodb 注意：分布式架构的时候必须做出取舍。 一致性和可用性之间取一个平衡。多余大多数web应用，其实并不需要强一致性。 因此牺牲C换取P，这是目前分布式数据库产品的方向 ======================================================================================================================= 一致性与可用性的决择 对于web2.0网站来说，关系数据库的很多主要特性却往往无用武之地 数据库事务一致性需求 　　很多web实时系统并不要求严格的数据库事务，对读一致性的要求很低，

一、前言 最近系统上遇到一些问题，我又仔细去思考了一下CAP相关方面的东西，有点感悟想写篇文章，来好好思索下CAP这个东西； 二、先聊聊一聊我遇到的问题? 简单的说说我的场景，MQ推送消息过来以后写入redis，然后多个进程去消费redis中的数据，最后处理完成进入ES。最近更改一些需求，要求必须是只能生成一条明细，我们系统可能推送多次，我们通过缓存是可以判断出最早的一条，但是系统上线以后还是会出现多条，后来经过排查发现原来是MQ时序问题，导致最终生成2条明细，后来我采用使用唯一ID处理这个问题，中间还思考通过ES版本号处理的这种方式，最终还是采用唯一Id处理，这里我们不比较这两种方式好坏。还是要关注我们说主题分布式的思考，我只想通过我这例子来说说CAP到底是处理什么问题的？ 上图基本就是我们处理数据的流程，我省去了很多东西，比如分布式锁、缓存呀等等这些东西。我们单纯就借助这个模型来说说分布式的问题，A、B、C代表进程，我们都是分开部署多个节点在不同的机器上，类似于很多单体Web程序部署多台机器上通过Nginx分发处理请求，我们这些也都可以算是分布式系统，我们只是单纯自己玩，不相互联系而已，以一个不恰当的比喻来说最熟悉的陌生人。那CAP是处理什么问题的，大家可以看下 这篇文章 ，看不懂可以翻译下，当然我就是属于看不懂的，哈哈。摘录下其中比较重要的话，翻译过来以后是:

下面记录下hadoop完全分布式安装的过程，其中hadoop使用的版本是apache下的，不是cdh。 完全分布式示意图 下面在三台节点上安装hadoop完全分布式，其中一个服务器节点上将有多个hadoop相关的节点，最后是压缩到三台的安装效果，正常来说至少13个服务节点。 （1）zookeeper用于管理namenode，用于故障转移主备切换，其中zookeeper通过failoverController进程来进行namenode主备切换。 （2）namenode主备之间通过journalNode来进行通信，进行数据同步。 （3）resourceManager也会有两个，一个挂了另外一个顶上。 （4）datanode上储存数据，MR计算有数据本地化策略，nodeManager一般和datanode在一起。 以上是最后安装的节点分布图，下面开始安装部署。 前置准备 前置准备包括关闭linux防火墙、修改主机名、ip映射、配置jdk和免密登录，可参考 https://www.cnblogs.com/youngchaolin/p/11992600.html ，其中这里使用的主机名分别为hadoop01、hadoop02和hadoop03。ip映射需修改/etc/hosts文件，添加三台ip和节点名的映射关系。以上操作三台都需要准备好，容易出现问题的就是免密登录，下面记录一下。

分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连 分布式文件系统的设计基于客户机/服务器模式 … 常用的分布式文件系统 Lustre Hadoop FastDFS Ceph GlusterFS 什么是Ceph Ceph是一个分布式文件系统 具有高扩展,高可用,高性能的特点 Ceph可以提供对象存储,块存储,文件系统存储 Ceph可以提供PB级别的存储空间(PB->TB->GB) 软件定义存储(Software Defined Storage)作为存储行业的一大发展趋势,已经越来越受到市场的认可. Ceph组件 OSDs-存储设备(真实的提供存储空间的硬件设备) Monitors-集群监控组件(相当于web集群中的调度器,带健康检测功能) RadosGateway(RGW)-对象存储网关 MDSs-存放文件系统的元数据(对象存储和块存储不需要该组件) Client-ceph客户端 ceph:OSD三备份,MON过半原则(要求超过一半的服务器是好的) 安装前准备 物理机为所有节点配置yum源服务器 [ root@room9pc01 ~ ] # mkdir /var/ftp/ceph [ root@room9pc01 ~ ] # mount /linux-soft/02

专注于各种 分布式系统配置管理 的 通用组件 / 通用平台 , 提供统一的 配置管理服务 。 主要目标： 部署极其简单：同一个上线包，无须改动配置，即可在 多个环境中(RD/QA/PRODUCTION) 上线 部署动态化：更改配置，无需重新打包或重启，即可 实时生效 统一管理：提供web平台，统一管理 多个环境(RD/QA/PRODUCTION)、多个产品 的所有配置 项目信息 CLIENT 端： Java: 目前唯一支持语言 python：打算支持 PHP：暂未支持 WEB 管理端： Java SpringMvc 实现，前后端分离 实现方式(基于Spring 4.1.7.RELEASE) java client disconf.git branches and Maven version: dev(develop branch): 2.6.28-SNAPSHOT master(stable branch)：2.6.27 更新日志 在Maven Central Repository里查看 com.baidu.disconf Java Client Elegant Usage Preview 注解式分布式配置使用方式 XML配置式分布式配置方式 当前版本功能特点 支持配置（配置项+配置文件）的分布式化管理 配置发布统一化 极简的使用方式（注解式编程 或 XML无代码侵入模式）

TiDB 是 PingCAP 公司研发的开源分布式关系型数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。TiDB 兼容 MySQL，具备「分布式强一致性事务、在线弹性水平扩展、故障自恢复的高可用、跨数据中心多活」等核心特性，是大数据时代理想的数据库集群和云数据库解决方案。 UCloud 于今年 8 月 将 TiDB 公有云化并推出 UCloud TiDB Service，当前使用的 TiDB 版本为 3.0.5 。UCloud TiDB Service 相比裸机部署性能并无损耗，提供跨可用区高可用，对监控和 Binlog 等做了改造增强，使用户可获得一键创建、按需付费、灵活扩缩容的 TiDB 服务。 UCloud TiDB Service 为什么叫 UCloud TiDB Service？这里强调 Service 是因为从公有云用户的角度来看，TiDB 运行在公有云平台上，其实是以服务的形式呈现而不是一个物理资源。 UCloud TiDB Service 是一个支持原生 MySQL 协议的，高性能、跨可用区高可用、高可扩展的，面向 Serverless 的分布式数据库服务。 兼容原生 MySQL 协议 大多数情况下，无需修改代码即可从 MySQL 轻松迁移至 TiDB，分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 跨可用区高可用 TiDB

之前我们在搭建hadoop分布式环境的时候用到过Zookeeper注册hadoop服务。那么到底Zookeeper在分布式环境中发挥了什么作用呢，这次我们就来讨论这个问题。 在分布式系统中通常都会有多台机器构成一个集群来对外提供服务，对外来说有几台机器在提供服务它并不关心，那么对内而言组成集群的机器如何互相协调保持一致这是个问题。Zookeeper将提供这样的一个功能–分布式协调技术。 1. Zookerrper概述 ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务，它提供了一项基本服务：分布式锁服务。由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法：配置维护、组服务、分布式消息队列、分布式通知/协调等。 ZooKeeper性能上的特点决定了它能够用在大型的、分布式的系统当中。从可靠性方面来说，它并不会因为一个节点的错误而崩溃。除此之外，它严格的序列访问控制意味着复杂的控制原语可以应用在客户端上。ZooKeeper在一致性、可用性、容错性的保证，也是ZooKeeper的成功之处，它获得的一切成功都与它采用的协议——Zab协议是密不可分的。 ZooKeeper在实现这些服务时，首先它设计一种新的数据结构——Znode，然后在该数据结构的基础上定义了一些原语，也就是一些关于该数据结构的一些操作

Storm是一个分布式的、高容错的实时计算系统。Storm适用的场景： Storm可以用来用来处理源源不断的消息，并将处理之后的结果保存到持久化介质中。 由于Storm的处理组件都是分布式的，而且处理延迟都极低，所以可以Storm可以做为一个通用的分布式RPC框架来使用。(实时计算？) Storm集群架构 Storm集群采用主从架构方式，主节点是Nimbus，从节点是Supervisor，有关调度相关的信息存储到ZooKeeper集群中，架构如下图所示 Nimbus：Storm集群的Master节点，负责分发用户代码，指派给具体的Supervisor节点上的Worker节点，去运行Topology对应的组件（Spout/Bolt）的Task。 Supervisor：Storm集群的从节点，负责管理运行在Supervisor节点上的每一个Worker进程的启动和终止。 ZooKeeper： 存储客户端提供的topology任务信息，nimbus负责将任务分配信息写入Zookeeper，supervisor从Zookeeper上读取任务分配信息 存储supervisor和worker的心跳（包括它们的状态），使得nimbus可以监控整个集群的状态， 从而重启一些挂掉的worker 存储整个集群的所有状态信息和配置信息。 组件抽象 我们先看一下

一、GlusterFS 简介： GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。 开源的分布式文件系统； 由存储服务器、客户端以及 NFS/Samba 存储网关组成； （1）GlusterFS 特点： 扩展性和高性能； 高可用性； 全局统一命名空间； 弹性卷管理； 基于标准协议 弹性 HASH 算法： 通过 HASH 算法得到一个32位的整数； 划分为 N 个连接的子空间，每个空间对应一个 Brick； 弹性 HASH 算法的优点： 保证数据平均分布在每一个 Brick 中； 解决了对元数据服务器的依赖，进而解决了单点故障以及服访问瓶颈。 二、GFS的卷类型 （1）分布式卷： 没有对文件进行分块处理； 通过扩展文件属性保存 HASH值； 支持的底层文件系统有 ext3 、ext4 、ZFS 、XFS等 特点： 文件分布在不同的服务器，不具备冗余性； 更容易和廉价地扩展卷的大小； 单点故障会造成数据丢失； 依赖底层的数据保护。 （2）条带卷： 根据偏移量将文件分为 N 块（N个条带节点），轮询的存储在每个 Brick Server 节点； 存储大文件时，性能尤为突出； 不具备冗余性，类似 raid0 特点： 数据被分割成更小块分布到块服务器群中的不同条带区；