分布式部署

前置知识 事务: 事务提供一种机制将一个活动涉及的所有操作纳入到一个不可分割的执行单元，组成事务的所有操作只有在所有操作均能正常执行的情况下方能提交，只要其中任意一个执行失败，将导致整个事务的回滚。简单来说就是提供一种”要么什么都不做，要不全都做“的机制。 本地事务: 当事务是由资源管理器本地管理时被称为本地事务。本地事务的有点是支持严格的 ACID 特性，高效，可靠，状态可以只在资源管理器中维护，而且应用编程模型简单。但是本地事务不具备分布式事务的处理能力，隔离的最小单位受限于资源管理器。MySql 的 InnoDB 通过日志（Redo 和 Undo）和锁来保证事务。 全局事务: 当事务由全局事务管理器进行全局管理时成为全局事务，事务管理器负责管理全局事务状态和参与的资源，协同资源的一直提交回滚。 刚性事务和柔性事务 刚性事务：遵循 ACID 原则，强一致性，典型的例子就是数据库事务。 柔性事务：尊循 BASE 理论，最终一致性，允许在一定时间内，不同节点的数据不一致，但要求最终一致性。 分布式知识 CAP 分布式系统在设计时只能在一致性，可用性和分区容错性中满足两种，无法兼顾三种。 C： 在分布式环境中，一致性是指数据在多个副本之间是否能够保持一致的特性。在一致性的要求下，当一个系统在数据一致的状态下执行更新操作后，应该保证系统的数据仍然处于一致的状态。 A：

一、 什么是负载均衡？ 什么是负载均衡？ 记得第一次接触 Nginx 是在实验室，那时候在服务器部署网站需要用 Nginx 。Nginx 是一个服务组件，用来反向代理、负载平衡和 HTTP 缓存等。那么这里的 负载均衡 是什么？ 负载均衡（LB，Load Balance），是一种技术解决方案。用来在多个资源（一般是服务器）中分配负载，达到最优化资源使用，避免过载。 资源，相当于每个服务实例的执行操作单元，负载均衡就是将大量的数据处理操作分摊到多个操作单元进行执行，用来解决互联网分布式系统的大流量、高并发和高可用的问题。那什么是高可用呢？ 二、什么是高可用？ 首先了解什么是高可用？ 这是 CAP 定理是分布式系统的基础，也是分布式系统的 3 个指标： Consistency（一致性） Availability（可用性） Partition tolerance（分区容错性） 那高可用（High Availability）是什么？高可用，简称 HA，是系统一种特征或者指标，通常是指，提供一定性能上的服务运行时间，高于平均正常时间段。反之，消除系统服务不可用的时间。 衡量系统是否满足高可用，就是当一台或者多台服务器宕机的时候，系统整体和服务依然正常可用。 举个例子，一些知名的网站保证 4 个 9 以上的可用性，也就是可用性超过 99.99%。那 0.01% 就是所谓故障时间的百分比

什么是分布式系统？ 分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像单个相关系统。 如何设计分布式系统？ 设计分布式系统本质：如何合理将一个系统合理拆分成多个子系统并部署到不同的服务器上。 设计分布式时，关键问题点： 1.如何将系统拆分为子系统 2.如何规划子系统间的通信 3.如何考虑通信过程中的安全 4.如何让子系统可以扩展 5.如何保证子系统的可靠性 6.如何实现数据的一致性 来源： https://www.cnblogs.com/devin-sl/p/12160090.html

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 分布式架构的演进 系统架构演化历程-初始阶段架构 初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP 特征： 应用程序、数据库、文件等所有的资源都在一台服务器上。 描述： 通常服务器操作系统使用linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。 系统架构演化历程-应用服务和数据服务分离 好景不长，发现随着系统访问量的再度增加，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台webserver 特征： 应用程序、数据库、文件分别部署在独立的资源上。 描述： 数据量增加，单台服务器性能及存储空间不足，需要将应用和数据分离，并发处理能力和数据存储空间得到了很大改善。 系统架构演化历程-使用缓存改善性能 特征： 数据库中访问较集中的一小部分数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的访问压力。 描述： 系统访问特点遵循二八定律，即80%的业务访问集中在20%的数据上。 缓存分为本地缓存和远程分布式缓存，本地缓存访问速度更快但缓存数据量有限，同时存在与应用程序争用内存的情况。 系统架构演化历程-使用应用服务器集群 在做完分库分表这些工作后

安装包下载地址： http://mirror.bit.edu.cn/apache/zookeeper ,记住要下载那个bin的 不要下tar.gz 包不然即使你安装了也会报错误: 找不到或无法加载主类org.apache.zookeeper.server.quorum.QuorumPeerMain，你安装了也无法起来zk wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz 注意：在安装zk之前请先确保要部署的三台机器均已经安装JDK. zk服务治理实现模型： 注册中心，生产者，消费者，注册中心注册了关于生产消费者的所有信息简单来说就是想要实现治理服务，必须要知道哪台机器提供什么服务，该找谁，也就ip映射服务之间的映射关系是怎样的， zk通过心跳机制可以检测挂掉的机器并将挂掉机器的ip和服务对应关系从列表中删除 tar -xvf apache-zookeeper-3.5.6.tar.gz && cd apache-zookeeper-3.5.6.tar.gz/conf 将zoo_sample.cfg这个文件复制为zoo.cfg (必须是这个文件名): cp zoo_sample.cfg zoo.cfg zoo.cfg参数解释： 打开zoo

一、什么是OCTO 定义： OCTO是美团的分布式服务通信框架及服务治理系统，属于公司级基础设施(octo已经开源，https://github.com/Meituan-Dianping。 octo-rpc, octo-portal，octo-ns 都是octo的一部分)。 目标： 为公司所有业务提供统一的服务通信框架，使业务具备良好的服务运营能力，轻松实现服务注册、服务自动发现、负载均衡、容错、灰度发布、调用数据可视化等，持续提升服务高可用性、服务运维效率。 类比： 美团点评内部类似的框架还有pigeon（已开源，https://github.com/dianping/pigeon）。OCTO是octopus（章鱼）的缩写，pigeon是鸽子的意思，一个水里游，一个天上飞，目标大体一致。 业界同类产品有Dubbo。OCTO的功能因为主要内部用，功能要丰富的多。 规模： 千亿级别 静儿的老领导17年时做过一个QCon分享，叫《OCTO：千亿规模下的服务治理挑战与实践》。里面提到了16年OCTO日调用量已经超过千亿，目前这个数字还在高速增长。 二、产生背景 阶段1 - 垂直应用阶段 这个阶段大体相当于目前运用最广泛的「分层架构」。把业务按照领域划分（垂直拆分），将一个大应用分成几个互不相干的小应用。 阶段2 - 早期分布式阶段 随着规模的扩大，系统之间需要进一步拆分

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。 一、数据采集与预处理 对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。 Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费(收集)数据源到channel组件中

用一个例子介绍集群与分布式： 小餐馆原来只有一个厨师，切菜洗菜备料炒菜他都全干。后来餐馆的客人多了，厨房里一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关 系是集群。为了让厨师专心炒菜，把菜做到极致，又请了个配菜师负责切菜，备菜，备料，厨师和配菜师的关系是分布式，一个配菜师也忙不过来了，又请了个配菜 师，两个配菜师关系是集群。 一、分布式： 分布式是指将多台服务器集中在一起，每台服务器都实现总体中的不同业务，做不同的事情。并且每台服务器都缺一不可，如果某台服务器故障，则网站部分功能缺失，或导致整体无法运行。存在的主要作用是大幅度的提高效率，缓解服务器的访问和存储压力。 分布式的优点是细化了应用程序的功能模块，同时也减轻了一个完整的应用程序部署在一台服务器上的负担，用了分布式拆分后，就相当于把一个应用程序的多个功能分配到多台服务器上去处理了。 注意：该图中最大特点是：每个Web服务器（Tomcat）程序都负责一个网站中不同的功能，缺一不可。如果某台服务器故障，则对应的网站功能缺失，也可以导致其依赖功能甚至全部功能都不能够使用。 二、集群： 集群是是指将多台服务器集中在一起，每台服务器都实现相同的业务，做相同的事情。但是每台服务器并不是缺一不可，存在的作用主要是缓解并发压力和单点故障转移问题。可以利用一些廉价的符合工业标准的硬件构造高性能的系统。实现：高扩展

前言 相信大家对 ZooKeeper 应该不算陌生。但是你真的了解 ZooKeeper 是个什么东西吗？如果别人/面试官让你给他讲讲 ZooKeeper 是个什么东西，你能回答到什么地步呢？ 我本人曾经使用过 ZooKeeper 作为 Dubbo 的注册中心，另外在搭建 solr 集群的时候，我使用到了 ZooKeeper 作为 solr 集群的管理工具。前几天，总结项目经验的时候，我突然问自己 ZooKeeper 到底是个什么东西？想了半天，脑海中只是简单的能浮现出几句话：“①Zookeeper 可以被用作注册中心。 ②Zookeeper 是 Hadoop 生态系统的一员；③构建 Zookeeper 集群的时候，使用的服务器最好是奇数台。” 可见，我对于 Zookeeper 的理解仅仅是停留在了表面。 所以， 通过本文，希望带大家稍微详细的了解一下 ZooKeeper 。如果没有学过 ZooKeeper ，那么本文将会是你进入 ZooKeeper 大门的垫脚砖。如果你已经接触过 ZooKeeper ，那么本文将带你回顾一下 ZooKeeper 的一些基础概念。 最后， 本文只涉及 ZooKeeper 的一些概念，并不涉及 ZooKeeper 的使用以及 ZooKeeper 集群的搭建。 网上有介绍 ZooKeeper 的使用以及搭建 ZooKeeper 集群的文章

一、微服务架构基本知识(spring-cloud) 1.1 什么是分布式? 不同模块部署在不同服务器上,对系统的水平拓展,分散单个服务器压力. 作用：分布式解决网站高并发带来问题 1.2 什么是集群? 多台服务器部署相同应用构成一个集群,利用硬件优势支撑访问量高的应用. 作用：通过负载均衡设备共同对外提供服务 1.3 什么是微服务? 微服务是对系统进行更细粒度的拆分，侧重于模块解耦和复用，不同的微服务不一定部署到不同服务器上，微服务是使系统各个功能拆分更加精细和独立的垂直拓展。 架构设计概念,各服务间隔离（分布式也是隔离）,自治（分布式依赖整体组合）,其它特性(单一职责,边界,异步通信,独立部署),微服务是分布式概念的更严格执行.换句换说:微服务一定是分布式的,但分布式项目不一定是微服务架构! 二、微服务架构图 三、SpringCloud说明 SpringCloud 为开发人员提供了快速构建分布式(或微服务)系统的一些工具，包括配置管理（config）、服务发现(Eureka)、断路器(hystrix)、路由(zuul)、微代理http客户端(Feign,rpc远程调用)、事件总线(Bus)、负载均衡（Ribbon,rpc远程调用）、日志链路监控（Zipkin）等。 四、服务生产者与消费者的关系 服务生产者:提供服务被人调用; 服务消费者:调用别人服务. 五、概念介绍完