zookeeper命令

注意： 1、kafka依赖于zokeeper，故学习kafka还需安装zookeeper。 2、kafka涉及到java运行环境，所以要安装配置JDK。 提示： 1、我的kafka的目录为：D:\kafka_2.11-1.0.0 2、我的zookeeper的目录：D:\zookeeper-3.4.12 3、我的jdk目录：D:\Java 如果安装目录不一样请稍作修改。 开始配置，分为三步： 1、安装配置java环境 2、安装配置zookeeper 3、安装配置kafka 一、安装配置Java环境 1、JDK安装包下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 2、配置环境： 3、打开Dos界面，运行java： 4、运行javac 5、配置完成。 二、安装配置Zookeeper 1) 建议下载稳定版。 下载地址： http://mirrors.hust.edu.cn/apache/zookeeper/ 2) 下载后解压到一个目录：eg: D:\zookeeper-3.4.12 3) 在zookeeper-3.4.10目录下，新建文件夹，并命名(eg: data).(路径为：D:\zookeeper-3.4.12\data) 4)

一直在弄监控，这些个中间件Zookeeper、Kafka......，平时也只知道一点皮毛，也就搭建部署过，没有真正的用过，一般都是大数据的同学在用，作为运维人员我需要对他做一个监控，由于对他不是知根知底，监控哪些指标就真的是一个大头了。经过不断的在网上搜集，看别人是怎么做的，做了以下一个基本的监控。 一、效果图 二、指标 监控最重要的就是数据，一切皆数据，有了数据想怎么监控就怎么监控。那么哪些数据是重要的？这些数据怎么获取？监控指标尤其重要。 Zookeeper的监控指标（通过网上收集，等实际情况中遇到了特殊的，再补充） 三、实现 实现这些监控指标我是通过Zabbix的自定义脚本实现的，脚本地址： https://github.com/Lemon-le/Zookeeper-Monitor-Zabbix 使用的是Zookeeper的四字命令获取相关的指标，把zookeeper_mntr.sh和zookeeper_ruok.sh两个脚本分别放在有Zookeeper服务的机器上，我的路径为：/etc/zabbix/zabbix_agentd.d/shell-script目录下，把zookeeper.conf放在/etc/zabbix/zabbix_agentd.d/目录下，然后重启Zookeeper服务器上的zabbix-agent t。 四、添加到Zabbix

一、zookeeper概要、背景及作用 zookeeper产生背景： 项目从单体到分布式转变之后，将会产生多个节点之间协同的问题。如： 每天的定时任务由谁哪个节点来执行？ RPC调用时的服务发现? 如何保证并发请求的幂等 .... 这些问题可以统一归纳为多节点协调问题，如果靠节点自身进行协调这是非常不可靠的，性能上也不可取。必须由一个独立的服务做协调工作，它必须可靠，而且保证性能。 zookeeper概要： ZooKeeper是用于分布式应用程序的协调服务。它公开了一组简单的API，分布式应用程序可以基于这些API用于同步，节点状态、配置等信息、服务注册等信息。其由JAVA编写，支持JAVA 和C两种语言的客户端。 znode 节点 zookeeper 中数据基本单元叫节点，节点之下可包含子节点，最后以树级方式程现。每个节点拥有唯一的路径path。客户端基于PATH上传节点数据，zookeeper 收到后会实时通知对该路径进行监听的客户端。 二、部署与常规配置 zookeeper 基于JAVA开发，下载后只要有对应JVM环境即可运行。其默认的端口号是2181运行前得保证其不冲突。 版本说明： 2019年5月20日发行的3.5.5是3.5分支的第一个稳定版本。此版本被认为是3.4稳定分支的后续版本，可以用于生产。基于3.4它包含以下新功能 动态重新配置 本地会议 新节点类型：容器

1、ZooKeeper介绍与核心概念 1.1 简介 ZooKeeper最为主要的使用场景，是作为分布式系统的分布式协同服务。在学习zookeeper之前，先要对分布式系统的概念有所了解，否则你将完全不知道zookeeper在分布式系统中起到了什么作用，解决了什么问题。 1.2分布式系统面临的问题 我们将分布式系统定义为：分布式系统指的是同时跨越多个物理主机，将一个完整的系统划分为多个独立运行的子系统，这些子系统之间互相协作构成一个完整的系统功能。类比一下，分布式系统就是将一个完整的任务细分为多个子任务，一群人分别完成一个子任务，最终完成整个任务。人多力量大，每个服务器的算力是有限的，但是通过分布式系统，由n个服务器组成起来的集群，算力是可以无限扩张的。 说起分布式就要谈谈集群，两者很相似，都是通过网络协同多台主机服务器节点完成整体的功能。 但不同点在于： 集群中的每个服务器节点都完成的是同一个功能，比如mysql数据库集群、redis集群； 而分布式系统则是各个服务器节点所负责的是不同的子系统（任务或者说功能），比如电商系统的分布式系统会分为订单系统、支付系统、数据库系统、缓存系统等等。 所谓分布式集群系统，就是将一个完整的系统进行拆分多个子系统，每个子系统都进行集群部署，各系统集群之间互相协作，就能构成一个分布式集群系统。 优点显而易见，人多干活快，并且互为备份。但是缺点也很明显

文档背景： 安装ZooKeeper已经有一段时间了。中间停了一段时间，今天再用发现已经生疏了。忘了zookeeper安装在集群的哪几台机器上了。 目的： 现对拿到一个新的zookeeper环境时，如何认识zookeeper，做以下笔记。 文档内容： 1、选定印象中已经安装zookeeper的一台机器，执行以下命令 [root@datanode1 ~]# echo $ZOOKEEPER_HOME /home/hadoop/modules/zookeeper [root@datanode1 ~]# 注意： 如果机器在10台以上，然而又不记得自己zookeeper装在哪几台机器上，会是一件很悲催的事情，目前我只知道一个笨方法就是一个个的试。 为了避免采用上边这种笨方法，我们可以对hadoop集群中的各机器进行文档登记，记录每台机器的角色，装了哪些软件，以便后查。 2、找到zookeeper安装目录下的conf/zoo.cfg文件 [root@datanode1 ~]# echo $ZOOKEEPER_HOME /home/hadoop/modules/zookeeper [root@datanode1 ~]# less /home/hadoop/modules/zookeeper/conf/ configuration.xsl log4j.properties zoo.cfg zoo

工具：VMware虚拟机、连接VMware的虚拟机工具xshell、zookeeper3.4.6版本 将文件上传或复制到虚拟机中（我在这里是直接将文件复制到虚拟机的文件中） 　　　　 使用xshell连接到虚拟机 　　　　 如图使用【ll】命令查看文件夹。结果有显示zookeeper的压缩文件 　　　　 解压上传的文件。使用命令：tar -zxf zookeeper-3.4.6.tar.gz 解压文件。 　　　　 进入到zookeeper的文件中 cd zookeeper-3.4.6 　　 创建一个data的文件夹，用来存数据。 mkdir data 　　　　 进入到conf目录下，修改配置文件 cd conf 　　　　 修改此目录下的 zoo_sample.cfg的文件名为zoo.cfg。 mv zoo_sample.cfg zoo.cfg 　　 修改配置文件。vi zoo.cfg 　　　 　　 进入之后输入字母【i】进入编辑模式，修改数据存储目录 　　 输入刚才自己创建额data的文件夹的路径.例如 ：/root/zookeeper-3.4.5/data 保存修改退出 配置已经完成，准备启动 启动zookeeper zookeeper服务端常用的命令 ./zkServer.sh start 启动服务 ./zkServer.sh status 查看服务状态 ./zkServer

下载：apache-zookeeper-3.5.5.tar.gz 进入zookeeper安装目录查看lib文件夹和zookeeper-3.5.5.jar是否存在，如果没有需要手动添加，不然启动时会报错。 注：启动失败时，可以进入out.log日志进行查看错误原因 [hadoop@hadoop01 apache-zookeeper-3.5.5]$ ls -l total 176 drwxr-xr-x. 2 hadoop hadoop 232 Apr 9 19:13 bin -rw-r--r--. 1 hadoop hadoop 94388 May 3 19:40 build.xml drwxr-xr-x. 2 hadoop hadoop 120 Sep 20 00:45 conf -rw-r--r--. 1 hadoop hadoop 411 Feb 15 2019 excludeFindBugsFilter.xml -rw-r--r--. 1 hadoop hadoop 1709 Feb 15 2019 ivysettings.xml -rw-r--r--. 1 hadoop hadoop 7597 Apr 9 19:13 ivy.xml drwxr-xr-x. 2 root root 4096 Sep 20 00:02 lib -rw-r--r--. 1 hadoop

zookeeper 简介 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 zookeeper 单机使用 访问http://zookeeper.apache.org/releases.html 并下载最新版本的ZooKeeper，这里我使用的版本是3.4.8。 下载完成后解压缩。进入conf目录，创建zoo.cfg配置文件(可复制已有的zoo_sample.cfg修改)。 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/tmp/zookeeper clientPort=2181 说明一下几个配置项的意义(initLimit和syncLimit暂时先不管，后面有说明)： tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。 dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。 clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口

session会话机制 client请求和服务端建立连接,服务端会保留和标记当前client的session,包含 session过期时间,sessionId ,然后服务端开始在session过期时间的基础上倒计时,在这段时间内,client需要向server发送心跳包,目的是然server重置session过期时间 使用quit命令,退出可端,但是server端的session不会立即消失,使用ls / 依然可以看到创建的临时节点 节点的类型: 持久节点,不加任何参数,默认创建的是持久节点 临时节点: 当客户端断开连接时,这个节点会消失 持久顺序节点: 父节点为他的第一级子节点维护一份时序,标记节点的创建顺序,这个标记其实就是一个数字后缀,作为新节点的名字,数字的范围就是整形的最大值(1024*1024) 临时顺序节点,同上. (临时节点不能再创建的节点) 创建节点时,可以指定每个节点的data信息,zookeeper默认每个节点的数量的最大上限是1M 常用命令 创建节点: 语法 : create /path data [zk: localhost:2181(CONNECTED) 2] create /changwu 1 Created /changwu [zk: localhost:2181(CONNECTED) 3] ls / [changwu, zookeeper]

1. 简要概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的框架。 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据,然后接受观察者的注册,一但这些数据的状态发生变化, Zookeeper就将负责通知已经在 Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似 Master/ Slave管理模式 Zookeeper=文件系统+通知机制 2. 特点 Zookeeper:一个领导者( leader),多个跟随者( follower)组成的集群 Leader负责进行投票的发起和决议,更新系统状态 Follower用于接收客户请求并向客户端返回结果,在选举 Leader过程中参与投票 4)集群中只要有半数以上节点存活, Zookeeper集群就能正常服务。 5)全局数据一致:每个 serer保存一份相同的数据副本, client无论连接到哪个 serer,数据都是一致的。 6)更新请求顺序进行,来自同一个 client的更新请求按其发送顺序依次执行 7)数据更新原子性,一次数据更新要么成功,要么失敗。 8)实时性,在一定时间范围内, client能读到最新数据。 3. 数据结构 Zookeeper数据模型的结枃与Unix文件系统很类似,整体上可以看作是一裸树,每个节点叫做一个