zookeeper命令

一，规划三台zk服务器构成集群 ip:172.18.1.1 机器名：zk1 对应myid: 1 ip:172.18.1.2 机器名：zk2 对应myid: 2 ip:172.18.1.3 机器名：zk3 对应myid: 3 说明：为什么zookeeper集群的数量需要是单数？ 1，为了容错，增删改操作中需要半数以上服务器通过才算成功， 2，防脑裂，一个zookeeper集群中,必需有且只能有一台leader服务器 当leader服务器宕机时,剩下的服务器会通过半数以上投票选出一个新的leader服务器 集群总数共2台时，半数是1，半数以上最少是2，也就是一台也不能宕机 集群总数共3台时，半数是1.5，半数以上最少是2，也就是允许一台能宕机 集群总数共4台时，半数是2，半数以上最少是3，也就是允许一台能宕机 集群总数共5台时，半数是2.5，半数以上最少是3，也就是允许两台能宕机, 集群总数共6台时，半数是3，半数以上最少是4，也就是允许两台能宕机, 可见 允许两台能宕机:5台比6台成本更低 允许一台能宕机:3台比4台成本更低 说明：刘宏缔的架构森林是一个专注架构的博客，地址： https://www.cnblogs.com/architectforest 对应的源码可以访问这里获取： https://github.com/liuhongdi/ 说明：作者:刘宏缔 邮箱:

kafka 相关术语： 术语 含义 producer，产生消息 消息生产者，发布消息到 kafka 集群的终端或服务。 consumer，消费消息 从 kafka 集群中消费消息的终端或服务。 topic，主题，在主题里分布消息 每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。 broker，服务器 kafka 集群中包含的服务器。 Consumer group high-level consumer API 中，每个 consumer 都属于一个 consumer group，每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。 partition partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。 replica partition 的副本，保障 partition 的高可用。 leader replica 中的一个角色， producer 和 consumer 只跟 leader 交互。 follower replica 中的一个角色，从 leader 中复制数据。 controller kafka 集群中的其中一个服务器，用来进行 leader election 以及 各种

1.Zookeeper简介 Zookeeper是一个分布式服务框架，以前是Apache Hadoop 的一个子项目，现在是Apache的一个独立顶级项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。有关分布式的相关问题请查阅上篇博客： 分布式系统问题及解决方案 2.设计目标 ZooKeeper简单。ZooKeeper允许分布式进程通过共享的分层名称空间相互协调，该命名空间的组织方式类似于标准文件系统。名称空间由数据寄存器（在ZooKeeper看来，称为znode）组成，它们类似于文件和目录。与设计用于存储的典型文件系统不同，ZooKeeper数据保留在内存中，这意味着ZooKeeper可以实现高吞吐量和低延迟数。 ZooKeeper特性还包括高性能、高可用性、严格有序。ZooKeeper的性能方面意味着它可以在大型的分布式系统中使用。可靠性方面使它不会成为单点故障。严格有序意味着可以在客户端上实现复杂的同步原语。 ZooKeeper可复制。像它协调的分布式进程一样，ZooKeeper本身也可以在称为集合的一组主机上进行复制。组成ZooKeeper服务的服务器都必须彼此了解。它们维护内存中的状态图像，以及持久存储中的事务日志和快照。只要大多数服务器可用，ZooKeeper服务将可用

环境：jdk 1.8 + hadoop2.7.6+zookeeper3.4.9+centos7 一.安装zookeeper（集群模式） 0.安装机器 ip hostname 192.168.100.9 ns1 192.168.100.10 dn1 1. 下载zookeeper 2.zookeeper tar包一栋至 ns1的 /usr/local,解压 tar -zxvf zookeeper-3.4.9.tar.gz 3.修改zk配置文件 cd /usr/local/zookeeper-3.4.9/conf cp zoo_sample.cfg zoo.cfg 修改配置文件zoo.cfg（所有节点的配置文件相同） #tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳 tickTime=2000 #initLimit这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数 initLimit=10 #syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度

Zookeeper简介 　　zookeeper是致力于提供一个高性能、高可用，且具备严格的循序访问控制能力的分布式协调服务。由雅虎公司创建，是谷歌的Chubby一个开源实现，也是Hadoop和Hbase的重要组件。 特点： 　　简单数据结构： 共享的树形结构，类似文件系统，数据存储在内存中 　　顺序访问： 对于每个读请求，zk会分配一个全局唯一的递增编号，利用这个特性可以实现高级协调服务 　　可构建集群： 避免单点故障，3-5台机子便可组成集群，过半机制 保证只要超过半数机子正常工作就能对外提供服务 　　高性能： 基于内存操作，服务于非事务请求，适用于读操作为主的业务场景。3台zk集群能达到13w QPS 适用场景： 　　发布订阅 集群管理 负载均衡 配置管理 命名服务 分布式队列 分布式锁 （后面会详细学习） 下载地址 ： http://mirror.bit.edu.cn/apache/zookeeper/ 　　我在这里使用的是 zookeeper-3.5.7 版本 　　　　　　 　　　　　　这里我直接下载使用编译好的二进制文件压缩包。 安装： 　　　　 将下载好的压缩包上传到服务器，使用命令： tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz 解压 　　 修改zk的配置文件 　　我这里使用的是伪集群模式　 　　　　

Zookeeper 介绍 注册中心负责服务地址的注册与查找，相当于目录服务，服务提供者和消费者只在启动时与注册中心交互，注册中心不转发请求，压力较小 安装步骤： 第一步：安装 jdk 第二步：把 zookeeper 的压缩包上传到linux 系统 Alt+P 进入SFTP ，输入put d:\zookeeper-3.4.6.tar.gz 上传 第三步：解压缩压缩包 tar -zxvf zookeeper-3.4.6.tar.gz 第四步：进入 zookeeper-3.4.6 目录，创建 data 文件夹 mkdir data 第五步：进入conf目录 ，把 zoo_sample.cfg 改名为 zoo.cfg cd conf mv zoo_sample.cfg zoo.cfg 第六步：打开zoo.cfg , 修改 data 属性：dataDir=/root/zookeeper-3.4.6/data Zookeeper 服务启动 进入bin目录，启动服务输入命令 ./ zkServer.sh start 关闭服务输入命令 ./ zkServer.sh stop 查看状态 ./zkServer.sh status 来源： https://www.cnblogs.com/sunliyuan/p/12442433.html

搭建Hadoop集群环境时，在HA和Hbase操作时，需要使用zookeeper进行分布式数据管理和系统协调，今天讲述下如何进行安装。 准备三台服务器node1,node2,node3. 1.进入官网下载zookeeper-3.4.6版本（与后面hbase版本匹配，官方推荐版本） https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/ 2.使用xftp上传了centos中 3.进入/usr/local/目录下 .解压压缩文件 tar -zxvf zookeeper-3.4.6.tar.gz 4.创建新文件夹 mkdir zk346 5.将解压后zookeeper-3.4.6/* 移动到zk346目录下 mv zookeeper-3.4.6/* zk346/ 6.配置环境变量 vi /etc/profile 保存后执行source /etc/profile 7.进入zk346/conf 复制文件zoo_sample.cfg 为zoo.cfg 我是配置好了再过来截图的，所以我在查看的时zoo.cfg已存在了 8.编辑配置zoo.cfg文件 9. 在/opt目录下创建zookeeper文件夹，并在zookeeper目录下创建文件myid.指定服务器编号 mkdir zookeeper vi zookeeper/myid

ZooKeeper学习第一期---Zookeeper简单介绍 ZooKeeper学习第二期--ZooKeeper安装配置 ZooKeeper学习第三期---Zookeeper命令操作 ZooKeeper学习第四期---构建ZooKeeper应用 ZooKeeper学习第五期--ZooKeeper管理分布式环境中的数据 ZooKeeper学习第六期---ZooKeeper机制架构 ZooKeeper学习第七期--ZooKeeper一致性原理 ZooKeeper学习第八期——ZooKeeper伸缩性 一、Zookeeper的搭建方式 Zookeeper安装方式有三种， 单机模式 和 集群模式 以及 伪集群模式 。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现高可用性，只要集合体中半数以上的机器处于可用状态，它就能够保证服务继续。 为什么一定要超过半数呢 ？这跟Zookeeper的复制策略有关：zookeeper确保对znode 树的每一个修改都会被复制到集合体中超过半数的机器上。 1.1 Zookeeper的单机模式搭建 下载

参考 https://zookeeper.apache.org/doc/r3.4.13/zookeeperStarted.html#sc_ConnectingToZooKeeper 连接到zookeeper 查看有哪些命令(帮助) 创建znode create [option] path data acl -s 创建顺序znode(会在path后面自动加上序号) -e 创建临时znode(临时znode,退出之后立即被删除) acl 用来进行权限控制,缺省情况下,不做任何权限控制. 获取znode数据 get path [watch] 设置znode数据 set path data [version] 　　version 指定本次更新操作是基于ZNode的哪一个数据版本进行的. 创建子znode create /parentpath/childpath data 查看指定节点下的所有子节点 ls path [watch] 状态 stat path 移除znode 移除单znode delete path [version] 　　version 指定本次更新操作是基于ZNode的哪一个数据版本进行的. 移除有子znode的znode(递归移除) 来源： https://www.cnblogs.com/microcat/p/10374726.html

ZooKeeper命令行界面（CLI）用于与ZooKeeper集合进行交互以进行开发。它有助于调试和解决不同的选项。要执行ZooKeeper CLI操作，首先打开ZooKeeper服务器（“bin/zkServer.sh start”），然后打开ZooKeeper客户端（“bin/zkCli.sh”）。一旦客户端启动，你可以执行以下操作： 1、创建znode 2、获取数据 3、监视znode的变化 4、设置数据 5、创建znode的子节点 6、列出znode的子节点 7、检查状态 8、移除/删除znode 通过help可以查看zkCli的所有命令 创建节点 节点分为三类：永久节点、临时节点、顺序节点 永久节点：默认创建的就是永久节点。 临时节点：当会话过期或客户端断开连接时，临时节点（flag：-e）将被自动删除。 顺序节点：保证znode路径将是唯一的。 #-s或-e分别表示创建的顺序节点和临时节点。默认不指定-s或-e参数则是创建永久节点。 create [-s][-e] path data 获取节点数据 使用get命令可以获取指定节点的数据内容和属性信息 get /path [watch] 更新节点数据 zookeeper中节点是有版本概念的，version用于指定本次更新操作是基于节点的哪一个数据版本进行的。 set /path newdata [version] 删除节点