分布式处理

一、什么是spring cloud？ spring cloud 可以认为是一种分布式服务的框架，它为开发人员提供了快速构建分布式系统的常用模式的一些工具，比如说配置管理、服务的注册与发现、服务调用的负载均衡、资源隔离、熔断降级等等，spring cloud为这些提供了一阵套完整的解决方案。 二、什么是分布式系统？ 上面说spring cloud是一种分布式服务的框架，那么什么是分布式服务呢？ 在谈什么是分布式系统之前，可以先回顾一下以前的那种所有的功能模块都放在一个服务里的那种系统，一个系统化几十万行代码，部署在单台机器上。一个比较大的系统，可能有十几个人协作开发，但是使用的都是同一套代码，大家功能开发完成过后，使用的都是同一套代码来发布生产上线。这样做有些什么问题呢？ 代码耦合严重，维护很困难。大家使用的同一套代码，一旦一个人有需求需要修改公用代码，由于对其他人的业务逻辑不熟悉，很可能改了上线过后，会影响其他人的已经存在于线上的功能。另外数据也有可能是耦合在一起的，一个人修改了数据，然后并不知道别人对这个数据是有依赖的，最后一上线，就发现出问题了。系统不复杂还好，随着业务发展，功能增多，在原有的一个工程里面不断地增加代码，这对于后期的维护简直是一个灾难。 代码复用性问题。多个人协作开发，一个人之前写过这个功能的代码，但对另外一个人没有感知且需要依赖这个功能的代码

一. 水平拆分 sharding 1. 解决数据量和访问量增加后对单节点造成的性能压力；水平拆分后的每个节点存储和处理的数据原则上没有交集； 2. 数据分布： hash映射：将不可控的业务值域key均匀映射到可控的有限值域（hash值）上，再将均匀分布的hash值枚举的映射到redis实例上； 范围映射：选择key本身而不是key的某个运算值作为数据分布的条件，且每个数据节点存放的key的值域是连续的； hash和范围映射：典型的方式是一致性hash，首先对key进行hash运算，得到值域有限的hash值，再对hash值做范围映射； 3. 请求路由 只读的跨实例请求需要将请求中的多个key分别分发到对应实例上执行，再合并结果； 跨实例的原子读写请求中，实例B的写入操作依赖于实例A的读取，没有单线程特性保证并发安全，因此原子请求是不支持的； 二. 主备复制 replication 1. 当某个节点宕机时，其上的数据在其他节点上有副本；同一份数据在多个节点上存储，可以分离读取和写入操作； 2. 主备复制流程 redis包含master和slave两种节点，master提供读写服务，slave作为master的数据备份拥有master的全量数据，不提供写服务； slave启动后触发SYNC命令，master被动的讲新进slave节点加入主备复制集群；

作者：李小翀 链接： https://www.zhihu.com/question/22764869/answer/31277656 来源：知乎 1.初始 初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征：应用程序、数据库、文件等所有的资源都在一台服务器上。描述：通常服务器操作系统使用linux，应用程序使用JSP/PHP/ASP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。 特征： 应用程序、数据库、文件等所有的资源都在一台服务器上。 描述： 通常服务器操作系统使用linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了 2.应用服务和数据服务分离 好景不长，发现随着系统访问量的再度增加，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台webserver 特征： 应用程序、数据库、文件分别部署在独立的资源上。 描述： 数据量增加，单台服务器性能及存储空间不足，需要将应用和数据分离，并发处理能力和数据存储空间得到了很大改善。 3.使用缓存提高性能 特征： 数据库中访问较集中的一小部分数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的访问压力

在信息产业高速发展的今天， 企业 间的竞争将更加激烈。随着规模的不断扩大和业务的不断更新，企业迫切需求完整的分布式解决方案，用于管理复杂的异构环境，实现不同硬件设备、软件系统、网络环境及数据库系统之间的完整集成。 背景介绍 纵观人类计算机的发展历史，每隔十年至十五年，信息产业就会发生周期性的变革，1950年至1970年期间，企业主要采用大型主机－终端的体系结构，企业 应用 系统则采用单一、集中的方式为用户提供资源共享服务。80年代初期，开放系统与关系型数据库管理系统被企业大量采用，有别于集中式系统，应用程序逻辑分散在主从两端。随着Windows的普及，90年代则是图形化的应用时代，Client/Server体系结构也被广泛采用。90年代后期，信息产业出现了分布式对象技术，应用程序可以分布在不同的系统平台上，通过分布式技术实现异构平台间对象的相互通信。将企业已有系统集成于分布式系统，可以极大地提高企业应用系统的扩展性。90年代末出现的 多层 分布式应用为企业进一步简化应用系统的开发指明了方向。 在传统的Client/Server结构中，应用程序逻辑通常分布在 客户端 和 服务器 两端，客户端发出数据资源访问请求，服务器端将结果返回客户端。Client/Server结构的缺陷是，当客户端数目激增时，服务器的性能将会因为无法进行负载平衡而大大下降。而一旦应用的需求发生变化

大数据开发总体架构： Hadoop是大数据开发所使用的一个核心框架。使用Hadoop可以方便的管理分布式集群，将海量数据分布式的存储在集群中，并使用分布式并行程序来处理这些数据。 Hadoop由许多子系统组成，如下图： Hadoop1.x与2.x的对比： YARN：管理集群资源（内存、CPU） 来源： https://www.cnblogs.com/dreamboy/p/12512702.html

某厂面试归来，发现自己落伍了！>>> 1.测试环境 master： 127.0.0.1 6379 slave1: 127.0.0.1 6479 slave2: 127.0.0.1 6579 master-sentinel: 127.0.0.1 26379 slave1-sentinel: 127.0.0.1 26479 slave2-sentinel: 127.0.0.1 26579 2.下载安装redis 2.8.3 cd wget http://download.redis.io/releases/redis-2.8.3.tar.gz tar –zxvf redis-2.8.3.tar.gz cd redis-2.8.3 make;make install(此处可用PREFIX参数将redis安装到其他目录) 3.配置测试环境 ----创建目录： cd /usr/local mkdir redis_cluster mkdir redis_cluster/master_6379 mkdir redis_cluster/slave_6479 mkdir redis_cluster/slave_6579 ----配置redis： master: cp –a –R –p ~/redis-2.8.3/redis.conf ./redis_cluster/master_6379/ cp

1.Zookeeper简介 Zookeeper是一个分布式服务框架，以前是Apache Hadoop 的一个子项目，现在是Apache的一个独立顶级项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。有关分布式的相关问题请查阅上篇博客： 分布式系统问题及解决方案 2.设计目标 ZooKeeper简单。ZooKeeper允许分布式进程通过共享的分层名称空间相互协调，该命名空间的组织方式类似于标准文件系统。名称空间由数据寄存器（在ZooKeeper看来，称为znode）组成，它们类似于文件和目录。与设计用于存储的典型文件系统不同，ZooKeeper数据保留在内存中，这意味着ZooKeeper可以实现高吞吐量和低延迟数。 ZooKeeper特性还包括高性能、高可用性、严格有序。ZooKeeper的性能方面意味着它可以在大型的分布式系统中使用。可靠性方面使它不会成为单点故障。严格有序意味着可以在客户端上实现复杂的同步原语。 ZooKeeper可复制。像它协调的分布式进程一样，ZooKeeper本身也可以在称为集合的一组主机上进行复制。组成ZooKeeper服务的服务器都必须彼此了解。它们维护内存中的状态图像，以及持久存储中的事务日志和快照。只要大多数服务器可用，ZooKeeper服务将可用

摘自： https://www.cnblogs.com/yangyuanhu/p/12439106.html Dubbo是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。 2 | 0 什么是RPC RPC全称(Remote Procedure Call)远程过程调用 过程指的是某个代码片段的执行,远程调用则意味着我们可以在其他进程,甚至其他机器上去调用这段代码,当然也能获取到其执行后的返回值,按照这个定义,我们请求某个http地址得到相应数据其实也算一次RPC,但是这样的方式太过麻烦,(数据要先打包成http请求格式,在调用相关的请求库,拿到的结果也是文本格式的需要在进行转换),执行效率,和开发效率相比RPC则低一些; 我们需要一种更简单的方式来完成分布式开发中的RPC环节,这也是Dubbo的核心所在,有多简单呢? 调用远程服务器上的某个服务时就像是调用本地的某个方法一样简单,就像下面这样 2 | 1 为什么需要rpc RPC是用来实现分布式构架的基石,分布式构架将同一个系统中的不同模块拆分到不同的子系统中,而子系统又分布在不同的服务器上,这时就需要RPC在来完成子系统之间的相互访问; 可以这么说分布式少不了RPC,RPC也要在分布式系统中才能发挥其核心价值; 2 | 2 rpc的实现原理

ZooKeeper 我想大家应该都略有耳闻，可能你在开发中没有直接使用过，但常用的 Hadoop、HBase、Kafka、Dubbo 等都有使用到 ZooKeeper。那 ZooKeeper 到底起到了什么样的作用，为什么这些框架、系统需要使用 ZooKeeper呢，我们在开发过程中应该如何使用 ZooKeeper，又是否有 ZooKeeper的替代品呢。本文将围绕以上问题，从以下三方面说起： 来源与作用； 经典应用场景； 替代品。 1. 来源与作用 ZooKeeper 的设计初衷是什么？这要从雅虎的一个研究小组说起。当时，研究人员发现雅虎内部的很多分布式系统都需要依赖一个组件进行分布式协调，但是这些组件往往都存在分布式单点问题。所以雅虎便组织开发了 一个通用的无单点问题的分布式协调框架 ，那就是 ZooKeeper，一方面解决 单点问题 ，另一方面，将 分布式协调 从分布式系统中 抽离 出来，让开发者更专注于业务逻辑。 下面分别对 “单点问题” 和 “分布式协调” 进行讲述。 1.1 单点问题 单点问题（又叫单点故障，Single Point of Failure，SPOF）是指在系统中一旦失效就会让整个系统无法运作的部件。举个例子，将系统只部署在机器 A 一台机器上，如果机器 A 失效，则整个系统将无法运作。而为了解决该问题，一般采用冗余的方式，增加多台机器

文章目录 1 zookeeper简介 1.1 数据发布与订阅（配置中心） 1.2 负载均衡 1.3 命名服务(Naming Service) 1.4 分布式通知/协调 1.5 集群管理与 Master 选举 1.6 分布式锁 1.7 分布式队列 1 zookeeper简介 ZooKeeper 是一个高可用的分布式数据管理不系统协调框架。基于对 Paxos 算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得 ZooKeeper 解决很多分布式问题。 网上对 ZK 的应用场景也有不少介绍，本文将系统地对 ZK 的应用场景迚行一个分门归类的介绍。 值得注意的是， ZK 并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性，利用其提供的一系列 API 接口，摸索出来的典型使用方法。 1.1 数据发布与订阅（配置中心） 发布不订阅模型，即所谓的 配置中心 ，顾名思义就是发布者将数据发布到 ZK 节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。 应用中用到的一些配置信息放到 ZK 上迚行集中管理。这类场景通常是这样：应用在启劢的时候会主动来获取一次配置，同时，在节点上注册一个 Watcher ，这样一来，以后每次配置有更新的时候，都会实时通知到订阅的客户端