zookeeper命令

#0 系列目录# Zookeeper系列 【Zookeeper系列一】Zookeeper应用介绍与安装部署 【Zookeeper系列二】ZooKeeper典型应用场景实践 【Zookeeper系列三】ZooKeeper Java API使用 【Zookeeper系列四】ZooKeeper 分布式锁实现 【Zookeeper系列五】ZooKeeper 实时更新server列表 【Zookeeper系列六】Zookeeper 工作原理 Zookeeper源码 【Zookeeper源码一】Zookeeper 源码环境搭建 【Zookeeper源码二】Zookeeper 客户端创建连接过程分析 【Zookeeper源码三】Zookeeper 单机版服务器介绍 【Zookeeper源码四】Zookeeper 集群版服务器介绍 【Zookeeper源码五】Zookeeper 集群版建立连接过程 Zookeeper应用 基于ZooKeeper的分布式Session实现 ZooKeeper是一个 高可用的分布式数据管理与系统协调框架 。 基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性 ，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将介绍比较常用的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。 值得注意的是，

Strom的结构 Storm与传统关系型数据库 传统关系型数据库是先存后计算，而storm则是先算后存，甚至不存 传统关系型数据库很难部署实时计算，只能部署定时任务统计分析窗口数据 关系型数据库重视事务，并发控制，相对来说Storm比较简陋 Storm与Hadoop，Spark等是流行的大数据方案 与Storm关系密切的语言：核心代码用clojure书写，实用程序用python开发，使用java开发拓扑 topology Storm集群中有两种节点，一种是控制节点(Nimbus节点)，另一种是工作节点(Supervisor节点)。所有Topology任务的 提交必须在Storm客户端节点上进行(需要配置 storm.yaml文件)，由Nimbus节点分配给其他Supervisor节点进行处理。 Nimbus节点首先将提交的Topology进行分片，分成一个个的Task，并将Task和Supervisor相关的信息提交到 zookeeper集群上，Supervisor会去zookeeper集群上认领自己的Task，通知自己的Worker进程进行Task的处理。 和同样是计算框架的MapReduce相比，MapReduce集群上运行的是Job，而Storm集群上运行的是Topology。但是Job在运行结束之后会自行结束，Topology却只能被手动的kill掉，否则会一直运行下去

zk 可视化客户端 zk 可视化工具： ZooInspector 参考： https://www.jianshu.com/p/f45af8027d7f 简介 特性 目录 还有 recipes 目录下面就是 demo ,, src 目录就是 zookeeper 的源码 配置 # The number of milliseconds of each tick 用于计算的时间单元 毫秒 ： 比如 session 超时 ： N* tickTime 。 所有的时间都是 以这个为单位 tickTime=5000 # The number of ticks that the initial # synchronization phase can take 用于集群，允许从节点连接并同步到 master 节点的初始化连接时间，以 tickTime 的倍数表示 initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement 用于集群，master 主节点与从节点之间发生消息，请求和应答时间长度（心跳机制） syncLimit=5 # the directory where the snapshot is stored. # do not use

zk 可视化客户端 zk 可视化工具： ZooInspector 参考： https://www.jianshu.com/p/f45af8027d7f 简介 特性 目录 还有 recipes 目录下面就是 demo ,, src 目录就是 zookeeper 的源码 配置 # The number of milliseconds of each tick 用于计算的时间单元 毫秒 ： 比如 session 超时 ： N* tickTime 。 所有的时间都是 以这个为单位 tickTime=5000 # The number of ticks that the initial # synchronization phase can take 用于集群，允许从节点连接并同步到 master 节点的初始化连接时间，以 tickTime 的倍数表示 initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement 用于集群，master 主节点与从节点之间发生消息，请求和应答时间长度（心跳机制） syncLimit=5 # the directory where the snapshot is stored. # do not use

Zookeeper 由 Apache Hadoop 的 Zookeeper 子项目发展而来，Google Chubby的一个开源实现。它是一个分布式应用程序协调服务，提供的功能包括：配置管理，名字服务，提供分布式同步、队列管理、集群管理等。 从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应，从而实现集群中类似 Master/Slave 管理模式。 Zookeeper有两种运行模式： 独立模式（standalone mode)：只运行在一台服务器上，适合测试环境。 复制模式（replicated mode)：运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） 复制模式的Zookeeper通过复制来实现高可用性，只要集合体中半数以上的机器处于可用状态，它就能够保证服务继续。这跟Zookeeper的复制策略有关：Zookeeper确保对znode树的每一个修改都会被复制到集合体中超过半数的机器上。 Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步，剩下的是follower，提供读服务

- 依次在各节点上启动: kafka bin/kafka-server-start.sh config/server.properties - 查看当前服务器中的所有topic bin/kafka-topics.sh --list --zookeeper hadoop01:2181 - 创建topic bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 3 --topic CustomerContacts - 删除topic bin/kafka-topics.sh --delete --zookeeper hadoop01:2181 --topic CustomerContacts 需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。 - 通过shell命令发送消息 sh bin/kafka-console-producer.sh --broker-list kafka01:9092 --topic test - 通过shell消费消息 bin/kafka-console-consumer.sh --zookeeper hadoop01:2181 --from-beginning -

ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景。 ZooKeeper基本原理 1. 数据模型 如上图所示，ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每个ZNode都可以通过其路径唯一标识，比如上图中第三层的第一个ZNode, 它的路径是/app1/c1。在每个ZNode上可存储少量数据(默认是1M, 可以通过配置修改, 通常不建议在ZNode上存储大量的数据)，这个特性非常有用，在后面的典型应用场景中会介绍到。另外，每个ZNode上还存储了其Acl信息，这里需要注意，虽说ZNode的树形结构跟Unix文件系统很类似，但是其Acl与Unix文件系统是完全不同的，每个ZNode的Acl的独立的， 工控机 子结点不会继承父结点的，关于ZooKeeper中的Acl可以参考之前写过的一篇文章《说说Zookeeper中的ACL》。 2.重要概念 2.1 ZNode

Docker 一步搞定 ZooKeeper 集群的搭建 背景 原来学习 ZK 时, 我是在本地搭建的伪集群, 虽然说使用起来没有什么问题, 但是总感觉部署起来有点麻烦. 刚好我发现了 ZK 已经有了 Docker 的镜像了, 于是就尝试了一下, 发现真是爽爆了, 几个命令就可以搭建一个完整的 ZK 集群. 下面我简单记录一下使用 Docker 搭建 ZK 集群的一些步骤. 镜像下载 hub.docker.com 上有不少 ZK 镜像, 不过为了稳定起见, 我们就使用官方的 ZK 镜像吧. 首先执行如下命令: 1 docker pull zookeeper 　　 当出现如下结果时, 表示镜像已经下载完成了: 1 2 3 4 5 6 7 8 9 10 11 12 13 >>> docker pull zookeeper Using default tag: latest latest: Pulling from library /zookeeper e110a4a17941: Pull complete a696cba1f6e8: Pull complete bc427bd93e95: Pull complete c72391ae24f6: Pull complete 40ab409b6b34: Pull complete d4bb8183b85d: Pull complete

转自： https://www.cnblogs.com/ysw-go/p/11396343.html 第一部分：单机模式 1)下载地址：http://www.pirbot.com/mirrors/apache/zookeeper/，建议下载stable版本 2）解压缩 将下载好的压缩包解压到指定目录，比如：D:\software\apache-zookeeper-3.5.5-bin 3）环境变量配置 新增：ZOOKEEPER_HOME，变量值为zookeeper的安装目录，按照上图解压的话就是：D:\software\apache-zookeeper-3.5.5-bin path新增路径：$ZOOKEEPER_HOME\bin（启动脚本都在这个目录下） 4）修改配置文件 在conf目录下有一个名为zoo_sample.cfg的文件，改文件是启动zookeeper服务需要的配置，将改文件复制一份，新建一个命名为zoo.cfg的文件，里面涉及几个主要的配置。 #这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳 tickTime=2000 initLimit=10 syncLimit=5 #顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper

今天用自己写的脚本启动zookeeper集群(用hadoop102启动自己及hadoop103,hadoop104)的时候突然报错如下: Error contacting service. It is probably not running. 网上找了很久也没解决,查看zookeeper.out报的错误如下: Cannot open channel to 2 at election address hadoop103/192.168.10.103:3888 java.net.ConnectException: 拒绝连接 (Connection refused) 我ssh免密登录也配了,扑所迷离的问题.... 然后我查看自己写的脚本如下: #!/bin/bash echo "-------------------正在启动zookeeper集群-------- " ssh root@hadoop102 '/opt/module/zookeeper-3.4.6/bin/zkServer.sh start' ssh root@hadoop103 '/opt/module/zookeeper-3.4.6/bin/zkServer.sh start' ssh root@hadoop104 '/opt/module/zookeeper-3.4.6/bin/zkServer.sh start'