分布式部署

（一）关键问题 数据分布 对于存储系统，最重要的问题就是数据分布，即什么样的数据放置在什么样的节点上。数据分布时需要考虑数据是否均衡、以后是否容易扩容等一系列问题。不同的数据分布方式也存在不同的优缺点，需要根据自身数据特点进行选择。 1）哈希分布 => 随机读取 取模直接哈希： 将不同哈希值的数据分布到不同的服务器上 关键： 找出一个散列特性很好的哈希函数 问题： 增加、减少服务器时的大量数据迁移 解决： 1）将<哈希值,服务器>元数据存储在元数据服务器中；2）一致性哈希 一致性哈希： 给系统每个节点分配一个随机token，这些token构成一个hash环。执行数据存放操作时，先计算key的hash值，然后存放到顺时针方向第一个大于或者等于该hash值的token所在节点。 关键： 哈希值变成了一个范围，每个物理节点上存储的数据是哈希值处于前一段范围的数据。 优点： 节点增加/删除时只会影响到在hash环中相邻的节点，而对其他节点没影响。 维护每台机器在哈希环中的位置方式：1） 记录它前一个&后一个节点的位置信息，每次查找可能遍历整个哈希环所有服务器；2） O（logN）位置信息，查找的时间复杂度为O（logN）；3） 每台服务器维护整个集群中所有服务器的位置信息，查找服务器的时间复杂度为O（1） 虚拟节点： 将哈希取模的模数取得很大，就会得到更多的哈希值，这个哈希值成为逻辑节点

什么是session session的官方定义是：Session:在计算机中，尤其是在网络应用中，称为“会话控制”。Session 对象存储特定用户会话所需的属性及配置信息。 说白了session就是一种可以维持服务器端的数据存储技术。session主要有以下的这些特点： 1. session保存的位置是在服务器端 2. session一般来说是要配合cookie使用，如果是浏览器禁用了cookie功能，也就只能够使用URL重写来实现session存储的功能 3. 单纯的使用session来维持用户状态的话，那么当同时登录的用户数量较多的时候，或者存在较多的数量的session会导致查询慢的问题 本质上：session技术就是一种基于后端有别于数据库的临时存储数据的技术 分布式session实现方式 tomcat+redis方案 方便，但是与tomcat容器重耦合 使用 session 的代码，跟以前一样，还是基于 tomcat 原生的 session 支持即可，然后就是用一个叫做 Tomcat RedisSessionManager 的东西，让所有我们部署的 tomcat 都将 session 数据存储到 redis 即可。 Spring session+redis 给 sping session 配置基于 redis 来存储 session 数据，然后配置了一个 spring

Redis分布式锁的实现 来自 https://www.cnblogs.com/Eugene-Jin/p/10801260.html 1.概述 分布式锁一般有三种实现方式：1.基于数据库实现分布式锁；2. 基于缓存（Redis，memcached，tair）实现分布式锁； 3.基于Zookeeper实现分布式锁。本片博客将介绍基于缓存实现分布式锁，这里主讲分别针对Redis 2.6.12 之前版本和Redis 2.6.12 及之后版本分布式锁的实现。 2.基于Redis（Redis 2.6.12版本之前）分布式锁的实现方式 （1）命令介绍 　　1）SETX 　　 SETNX key value: setnx是『set if not exists』（即当key不存在时，则set）的简写。setnx具有原子性，当且仅当key不存在时，set一个key为val的字符串，返回1；若key存在，则什么都不做，返回0. 　　2)GETSET 　　GETSET key value： 将给定 key 的值设为 value ，并返回 key 的旧值(old value)。当 key 存在但不是字符串类型时，返回一个错误。当 key 没有旧值时，也即是， key 不存在时，返回 nil 。 　　3)GET 　　GET key： 返回 key 所关联的字符串值；如果 key 不存在那么返回特殊值 nil

1、MongoDB 介绍 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题，为WEB应用提供可扩展的高性能数据存储解决方案。当数据量达到50GB以上的时候，MongoDB的数据库访问速度是MySQL的10倍以上。MongoDB的并发读写效率不是特别出色，根据官方提供的性能测试表明，大约每秒可以处理0.5万~1.5万次读写请求。MongoDB还自带了一个出色的分布式文件系统GridFS，可以支持海量的数据存储。 MongoDB也有一个Ruby的项目MongoMapper，是模仿Merb的DataMapper编写的MongoDB接口，使用起来非常简单，几乎和DataMapper一模一样，功能非常强大。 MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。 所谓“面向集合”（Collenction-Orented），意思是数据被分组存储在数据集中，被称为一个集合（Collenction)。每个 集合在数据库中都有一个唯一的标识名

微信公众号： 内核小王子 关注可了解更多关于数据库，JVM内核相关的知识; 如果你有任何疑问也可以加我pigpdong [^1] 前言 我们在应用开发的时候，应该都碰到过这种需求：每天固定时间点跑一个任务；创建一些临时的任务去初始化数据或者做数据迁移；固定一个时间周期去轮询是否有新的状态发生；在java中有两个类可以帮我们处理这种需求，一个是java.util.TimerTask，一个是 java.util.concurrent.ScheduledExecutorService , 但是随着业务的发展，任务调度的需求会越来越多，对调度器的要求也会更高，例如能够监控任务的执行进度，能够根据应用负载动态路由选择更健康的执行器去执行任务，所以我们需要一个系统将调度器和执行器分离开，在调度系统中增加更多功能来辅助我们运维业务中的各种任务。 关键词解释 管理后台：一个后台管理系统，提供web页面供业务人员对任务参数和执行模式进行编辑，查看任务进度和任务结果 执行器：提供任务具体执行的环境，一般指代应用本身，应用本身作为一个执行器，内部可以有多个待执行的任务单元 任务单元：需要定时执行的任务单元，依赖具体业务场景，例如基金行业的日切任务计算每日收益 调度器：依托特定调度的算法，例如每日早上8点，每间隔5分钟等去唤醒执行器去执行指定的任务单元 我们可以思考一下

ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景。 ZooKeeper基本原理 1. 数据模型 如上图所示，ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每个ZNode都可以通过其路径唯一标识，比如上图中第三层的第一个ZNode, 它的路径是/app1/c1。在每个ZNode上可存储少量数据(默认是1M, 可以通过配置修改, 通常不建议在ZNode上存储大量的数据)，这个特性非常有用，在后面的典型应用场景中会介绍到。另外，每个ZNode上还存储了其Acl信息，这里需要注意，虽说ZNode的树形结构跟Unix文件系统很类似，但是其Acl与Unix文件系统是完全不同的，每个ZNode的Acl的独立的，子结点不会继承父结点的，关于ZooKeeper中的Acl可以参考之前写过的一篇文章《 说说Zookeeper中的ACL 》。 2.重要概念 2.1 ZNode 前文已介绍了ZNode,

转：http://blog.csdn.net/xinguan1267/article/details/38422149 ZooKeeper是 Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景。 ZooKeeper基本原理 1. 数据模型 如上图所示，ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每个ZNode都可以通过其路径唯一标识，比如上图中第三层的第一个ZNode, 它的路径是/app1/c1。在每个ZNode上可存储少量数据(默认是1M, 可以通过配置修改, 通常不建议在ZNode上存储大量的数据)，这个特性非常有用，在后面的典型应用场景中会介绍到。另外，每个ZNode上还存储了其Acl信息，这里需要注意，虽说ZNode的树形结构跟Unix文件系统很类似，但是其Acl与Unix文件系统是完全不同的，每个ZNode的Acl的独立的，子结点不会继承父结点的

ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景。 ZooKeeper基本原理 1. 数据模型 如上图所示，ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每个ZNode都可以通过其路径唯一标识，比如上图中第三层的第一个ZNode, 它的路径是/app1/c1。在每个ZNode上可存储少量数据(默认是1M, 可以通过配置修改, 通常不建议在ZNode上存储大量的数据)，这个特性非常有用，在后面的典型应用场景中会介绍到。另外，每个ZNode上还存储了其Acl信息，这里需要注意，虽说ZNode的树形结构跟Unix文件系统很类似，但是其Acl与Unix文件系统是完全不同的，每个ZNode的Acl的独立的，子结点不会继承父结点的，关于ZooKeeper中的Acl可以参考之前写过的一篇文章《 说说Zookeeper中的ACL 》。 2.重要概念 2.1 ZNode 前文已介绍了ZNode,

在弄清楚这个问题之前，我们先了解一下什么是分布式的CAP定理。 根据百度百科的定义，CAP定理又称CAP原则，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），最多只能同时三个特性中的两个，三者不可兼得。 一、CAP的定义 Consistency (一致性)： “all nodes see the same data at the same time”,即更新操作成功并返回客户端后，所有节点在同一时间的数据完全一致，这就是分布式的一致性。一致性的问题在并发系统中不可避免，对于客户端来说，一致性指的是并发访问时更新过的数据如何获取的问题。从服务端来看，则是更新如何复制分布到整个系统，以保证数据最终一致。 Availability (可用性): 可用性指“Reads and writes always succeed”，即服务一直可用，而且是正常响应时间。好的可用性主要是指系统能够很好的为用户服务，不出现用户操作失败或者访问超时等用户体验不好的情况。 Partition Tolerance (分区容错性): 即分布式系统在遇到某节点或网络分区故障的时候，仍然能够对外提供满足一致性或可用性的服务。 分区容错性要求能够使应用虽然是一个分布式系统，而看上去却好像是在一个可以运转正常的整体

1、集群规划 在 hadoop105、hadoop106和hadoop107 三个节点上部署 Zookeeper 。 操作步骤如下： 2、解压安装 （1）上传zookeeper压缩包（ zookeeper-3.4.5.tar.gz ）到/ usr/local/hadoop 文件目录下 （2）解压zookeeper压缩包到/ usr/local/hadoop/module 文件目录下 [ root @hadoop105 hadoop ] # tar - zxvf zookeeper - 3.4 .5 . tar . gz - C / usr / local / hadoop / module / （3）同步/ usr/local/hadoop/module/zookeeper-3.4.5 目录内容到 hadoop106、hadoop107 [ root @hadoop105 module ] # scp - r zookeeper - 3.4 .5 / hadoop106 : / usr / local / hadoop / module / [ root @hadoop105 module ] # scp - r zookeeper - 3.4 .5 / hadoop107 : / usr / local / hadoop / module / 3、配置服务器编号 （1）在/