zookeeper命令

1、下载kafka https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz 2、上传至linux下并解压 3、启动服务 3.1、启动zookeeper （启动zk有两种方式，第一种是使用kafka自己带的一个zk。） bin/zookeeper-server-start.sh config/zookeeper.properties & 另一种是使用其它的zookeeper，可以位于本机也可以位于其它地址。这种情况需要修改config下面的sercer.properties里面的zookeeper地址 。例如zookeeper.connect=192.168.52.128:2181 3.2启动kafka bin/kafka-server-start.sh config/server.properties 4、创建topic bin/kafka-topics.sh --create --zookeeper 192.168.52.128:2181（localhost:2181） --replication-factor 1 --partitions 1 --topic test 创建一个名为test的topic，只有一个副本，一个分区。 通过list命令查看刚刚创建的topic bin

一、Linux虚拟机下的安装与测试 1、环境准备 使用的是vm虚拟机，安装ubuntu18.04.2的镜像文件 2、安装步骤与测试 1）首先在Kafka官网上下载kafka版本，本次下载的是Scala 2.11 - kafka_2.11-1.1.1.tgz 。将其下载到/usr/local/目录下。 2）使用tar -zxvf kafka_2.11-1.1.1.tgz 对压缩包进行解压，并使用mv kafka_2.11-1.1.1 kafka对其压缩后的文件夹重命名。 3）由于kafka的启动是需要zookeeper支持的，但是压缩包中给提供了zookeeper的环境供测试使用，所以再单机的环境下我们不需要在重新下载zookeeper。单机环境下，可以直接启动zookeeper服务。 进入到kafka的bin/目录下，使用./zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties启动zookeeper，注意，zookeeper的配置文件在kafka/config/目录下。 4）zookeeper启动成功后，就可以kafka服务了。重新开一个终端，进入到kafka的安装目录，使用 ./kafka-server-start.sh /usr/local/kafka/config/server

[size=medium]1. 简介[/size] kafka （官网地址：[url]http://kafka.apache.org[/url]）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。 [img]http://dl2.iteye.com/upload/attachment/0096/1014/758475a7-1c1b-3c60-a753-c04a6debec0d.jpg[/img] i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。 ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。 iii. producer产生和推送(push)数据到broker，consumer从broker拉取(pull)数据并进行处理。 iv. broker端不维护数据的消费状态，提升了性能。 v. 直接使用磁盘进行存储，线性读写，速度快：避免了数据在JVM内存和系统内存之间的复制，减少耗性能的创建对象和垃圾回收。 vi. Kafka使用scala编写，可以运行在JVM上。 [size=medium]2. 安装：[/size] a. 首先安装JRE/JDK [url=http://czj4451.iteye.com

Zookeeper集群选举策略 Zookeeper集群选举原理 Zookeeper的角色 1.领导者（leader），负责进行投票的发起和决议，更新系统状态 2.学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票 3.Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度 4.客户端（client），请求发起方Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。 为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变

如果是使用java操作zookeeper，zookeeper的javaclient 使我们更轻松的去对zookeeper进行各种操作，我们引入zookeeper-3.4.5.jar 和 zkclient-0.1.jar即可。 zookeeper-3.3.4.jar 为官方提供的javaApi，zkClient-0.1jar为在源生api基础上进行扩展的开源JAVA客户端 创建会话方法：客户端可以通过创建一个zookeeper实例来链接zookeeper服务器。 Zookeeper(Arguments)方法(一共4个构造方法，根据参数不同) 参数说明如下： connectString：连接服务器列表，已“，”分割。 sessionTimeOut：心跳检测时间周期(毫秒) watcher：事件处理通知器。 canBereadOnly：标识当前会话是否支持只读。 sessionId和sessionPasswd：提供连接zookeeper的sessionId和密码，通过这两个确定唯一一台客户端，目的是可以提供重复会话 注意：zookeeper客户端和服务器端会话的建立是一个异步的过程，也就是说在程序中，我们程序方法在处理完客户端初始化后，立即返回(程序往下执行代码，这样，大多数情况下我们并没有真正构建好一个可用会话，在会话的声明周期处于"CONNECTING"时才算真正建立完毕

1. wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz 2. tar -zxvf zookeeper-3.4.12.tar.gz 3. cd zookeeper-3.4.12/conf/ 4.cp zoo_sample.cfg zoo.cfg 5.用 vim 打开 zoo.cfg 文件并修改其内容为如下： # The number of milliseconds of each tick # zookeeper 定义的基准时间间隔，单位：毫秒 tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example

之前一直没有时间去整理，现在抽出几分钟时间整理以下，有问题的在评论区留言即可。 前期准备 JDK环境（ZK需要jdk进行编译，本文以jdk1.8.0_211为例）、Linux系统（本文以Centos7为例）、zookeeper安装包（通过zookeeper官网下载，本文以3.5.5版本为例） 。 Zookeeper的安装（使用安装包，否则无法启动） 1、下载zookeeper安装包 进入zookeeper官网选择下载链接如下： https://www-eu.apache.org/dist/zookeeper/ 选择最新稳定版本3.5.5，选择下载apache-zookeeper-3.5.5-bin.tar.gz，文件说明： 1） apache-zookeeper-3.5.5.tar.gz 源码包 2） apache-zookeeper-3.5.5-bin.tar.gz 安装包 或者直接通过 wget http://mirror.bit.edu.cn/apache/zookeeper/current/apache-zookeeper-3.5.5-bin.tar.gz 下载安装包。 解压完成后 进入我们的Linux下/etc/profile文件增加环境变量: export ZOOKEEPER_HOME=zookeeper安装路径,并加入PATH下 如图所示，完成后保存退出

注意： Zookeeper 集群的机器个数要求是奇数，且不少于 3 台 三台机器 192.168.119.150 192.168.119.151 192.168.119.152 设置主机名【三台机器】 vim /etc/hostname wal150 vim /etc/hosts 192.168.119.150 wal150 192.168.119.151 wal151 192.168.119.152 wal152 cd /usr/local/software scp zookeeper-3.4.6.tar.gz 192.168.119.151:/usr/local/software/ scp zookeeper-3.4.6.tar.gz 192.168.119.152:/usr/local/software/ 解压【三台机器】 cd /usr/local/software tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local/ cd /usr/local mv zookeeper-3.4.6/ zookeeper 添加全局环境变量【三台机器】 vim /etc/profile 添加 export ZOOKEEPER_HOME=/usr/local/zookeeper 修改 export PATH=$JAVA_HOME/bin:

之前整理过一篇文章《 zookeeper 分布式锁服务 》，本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/ 来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置. 首先需要安装JdK，从Oracle的Java网站下载，安装很简单，就不再详述。 单机模式 单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：C:\zookeeper-3.4.5\下，Zookeeper 的启动脚本在 bin 目录下，Windows 下的启动脚本是 zkServer.cmd。 在你执行启动脚本之前，还有几个基本的配置项需要配置一下，Zookeeper 的配置文件在 conf 目录下，这个目录下有 zoo_sample.cfg 和 log4j.properties，你需要做的就是将 zoo_sample.cfg 改名为 zoo.cfg，因为 Zookeeper 在启动时会找这个文件作为默认配置文件。下面详细介绍一下，这个配置文件中各个配置项的意义。 # The number of milliseconds of each tick tickTime=2000 # The number of

1. ZooKeeper是什么？ 2. ZooKeeper提供了什么？ 3. Zookeeper文件系统 4. ZAB协议？ 5. 四种类型的数据节点 Znode 6. Zookeeper Watcher 机制 -- 数据变更通知 7. 客户端注册Watcher实现 8. 服务端处理Watcher实现 9. 客户端回调Watcher 10. ACL权限控制机制 11. Chroot特性 12. 会话管理 13. 服务器角色 14. Zookeeper 下 Server工作状态 15. Leader 选举 16. 数据同步 17. zookeeper是如何保证事务的顺序一致性的？ 18. 分布式集群中为什么会有Master？ 19. zk节点宕机如何处理？ 20. zookeeper负载均衡和nginx负载均衡区别 21. Zookeeper有哪几种几种部署模式？ 22. 集群最少要几台机器，集群规则是怎样的? 23. 集群支持动态添加机器吗？ 24. Zookeeper对节点的watch监听通知是永久的吗？为什么不是永久的? 25. Zookeeper的java客户端都有哪些？ 26. chubby是什么，和zookeeper比你怎么看？ 27. 说几个zookeeper常用的命令。 28. ZAB和Paxos算法的联系与区别？ 29. Zookeeper的典型应用场景 30