zookeeper命令

ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍ZooKeeper提供的Client API的使用，第三部分介绍一些ZooKeeper典型的应用场景。 　　 　　ZooKeeper基本原理 　　 　　1. 数据模型 　　 　　zookeeper-tree 　　 　　如上图所示，ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每个ZNode都可以通过其路径唯一标识，比如上图中第三层的第一个ZNode, 它的路径是/app1/c1。在每个ZNode上可存储少量数据(默认是1M, 可以通过配置修改, 通常不建议在ZNode上存储大量的数据)，这个特性非常有用，在后面的典型应用场景中会介绍到。另外，每个ZNode上还存储了其Acl信息，这里需要注意，虽说ZNode的树形结构跟Unix文件系统很类似，但是其Acl与Unix文件系统是完全不同的，每个ZNode的Acl的独立的，子结点不会继承父结点的，关于ZooKeeper中的Acl可以参考之前写过的一篇文章

服务器角色 服务器 192.168.58.180 192.168.58.181 192.168.58.182 192.168.58.183 Name CentOSMaster Slvae1 Slave2 StandByNameNode NameNode Yes Yes DataNode Yes Yes Yes journalNode Yes yes Yes ZooKeeper Yes Yes Yes ZKFC Yes Yes Spark Yes Yes hbase Yes Yes Slave2没有zookeeper，所以hbase装在183和181，不过由于hbase.rootdir必须在hdfs上，所以估计还是只能搭载在180和183上。就是不知道zk和hbase必须对应，就是说2个hbase，三个zk不知道行不。备注：我的公钥文件在/home/hxsyl/.ssh下不在/root/hxsyl下，通过 find / -name id_rsa 　　查找 1.分别在每个机器上运行命令zkServer.sh start或者在$ZOOKEEPER_HOME/bin目录下运行./zkServer.sh start命令。然后可以通过命令jps来查看Zookeeper启动的进程QuorumPeerMain。 可通过zkServer.sh status命令来查看Zookeeper状态

概述 Zookeeper字面上理解就是动物管理员，是大数据框架Hadoop生态圈中的一个服务中间件，Hadoop生态圈中很多开源项目使用动物命名，那么需要一个管理员来管理这些“动物”。他负责分布式应用程序协调的工作。 Hadoop框架 Zookeeper主要提供以下四点功能： 统一命名服务、配置管理、集群管理、共享锁和队列管理 ，用于高效的管理集群的运行。 Zookeeper通过心跳机制可以检测挂掉的机器并将挂掉机器的ip和服务对应关系从列表中删除。 Zookeeper 部署有三种方式，单机模式、集群模式、伪集群模式，以下采用Docker 的方式部署 注意： 集群为大于等于3个奇数，如 3、5、7,不宜太多，集群机器多了选举和数据同步耗时长，不稳定。 zk安装 docker-compose-yml version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=zoo1:2888:3888 配置说明 2181：客户端连接 Zookeeper 集群使用的监听端口号 3888：选举 leader 使用 2888：集群内机器通讯使用（Leader 和

学了zookeeper有一段时间了，写个博客记录一下。。。 一、zookeeper是什么？ zookeeper是一个高效的分布式协调服务，它暴露了一些公共服务，比如起名/配置管理/同步控制/群组控制等。我们可以使用zk来实现达成共识、集群管理、lender选举等。 zookeeper是一个高可用的分布式管理和协调框架，基于ZAB算法（原子消息广播协议）的实现。该框架可以很好地保证分布式环境中数据的一致性。正是基于这样的特性，使得zookeeper成为解决分布式一致性的有效利器。 二、安装zookeeper 安装zookeeper的前提要安装jdk。 1、将zookeeper的软件包放到linux环境中 2、在local目录下创建一个zookeeper文件夹 3、将zookeeper安装包解压到zookeeper文件夹中 4、将zookeeper安装目录下的conf文件夹中的zoo_sample.cfg 改名为zoo.xfg 5、利用vi zoo.cfg编辑zoo.cfg文件内容 6、在zookeeper安装目录下创建文件夹data，并在文件夹下创建myid文件 7、编辑myid文件，根据之前配置的集群信息，填写对应的值。我的192.168.1.23是3号机器，所以这个位置要填写3 8、配置环境变量vi /etc/profile 9、令配置文件生效，执行source命令 10

前提：三台服务器。由于kafka是依赖与zookeeper的，所以必须要下载zookeeper，然后下载kafka zookeeper： 下载zookeeper：在linux中/usr/local/下面运行下面命令进行下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz 解压命令：tar -zxvf zookeeper-3.4.14.tar.gz 加压完毕后会看见一个 zookeeper-3.4.14 的文件夹。 执行命令：cd /usr/local/ zookeeper-3.4.14 /conf 执行命令：mv zoo_sample.cfg zoo.cfg （将文件名修改一个，必须要修改） 执行命令：vi zoo.cfg 找到dataDir修改值为/usr/local/ zookeeper-3.4.14 /data 在 zookeeper-3.4.14 下面创建文件夹data （命令是mkdir data） 在最后面添加（注意里面的 ip是你需要安装zookeeper的主机 ip） server.0=ip:2888:3888 server.1=ip:2888:3888 server.2=ip:2888:3888 保存退出（命令

zookeeper的事务日志的格式如 log.xxx， xxx表示顺序序号 我使用的zookeeper版本： 3.5.5 执行命令 java -cp .:/tmp/zookeeper-3.5.5.jar:/tmp/slf4j-api-1.7.25.jar:/tmp/zookeeper-jute-3.5.5.jar org.apache.zookeeper.server.LogFormatter /tmp/zookeeper/version-2/log.1 > /tmp/zklog.log ERROR： java.lang.NoClassDefFoundError: org/apache/jute/InputArchive 这个问题的原因是没有加入另外的一个包 zookeeper-jute-3.5.5.jar ，这个包在你的zookeeper安装目录下的 lib 里面 java -cp .:/tmp/zookeeper-3.5.5.jar:/tmp/slf4j-api-1.7.25.jar:/tmp/zookeeper-jute-3.5.5.jar org.apache.zookeeper.server.LogFormatter /tmp/zookeeper/version-2/log.1 > /tmp/zklog.log ERROR：Failed to load class

原文链接： http://www.studyshare.cn/software/details/1176/0 一、预备环境 Kafka是java生态圈中的一员，运行在java虚拟机上，按Kafka官方说明，java环境推荐Java8；Kafka需要Zookeeper保存集群的元数据信息和消费者信息。Kafka一般会自带Zookeeper，但是从稳定性考虑，应该使用单独的Zookeeper，而且构建Zookeeper集群。 jdk1.8下载安装教程： http://www.studyshare.cn/software/details/1143/0 zookeeper下载安装教程： http://www.studyshare.cn/software/details/1169/0 二、下载 官网下载： 下载地址 百度网盘： 下载地址 提取码：vow8 java开发工具下载地址及安装教程大全，点 这里 。 更多深度技术文章，在 这里 。 三、安装 1、将下载好的kafka安装文件上传至linux系统，可以使用ftp工具或者在窗口使用alt+p快捷键打开上传窗口。拖拽kafka文件上传。 2、解压 tar -zxvf kafka_2.11-2.3.0.tgz 3、移动到/usr/local/， 并改名kafka mv kafka_2.11-2.3.0 /usr/local/kafka 4

====================================== ZooKeeper 背景 ====================================== ZooKeeper 是一个非常优秀的开源项目, 可以为软件系统提供非常重要的基础特性: 1. 分布式锁. 使用场景有: 比如我们有一套系统, 为了保证HA, 在多台需要在多台服务器上部署, 该服务程序有一些定时任务需要执行, 我们需要确保同一个定时任务不会在多台机器上被同时执行. 分布式锁可以使用 redis/RDBMS实现, 但都不如 ZooKeeper 更适合. 2. 比如要开发一套Master-Slave集群系统, Leader选举是必需的. 3. 服务发现. 在服务发现场景中, 我更推荐 consul. ZooKeeper 数据结构 zk 提供类似于文件系统命名空间(name space), 我们可以采用路径的方式创建节点, 在节点上可以保存业务数据(2MB字节), 节点除了保存业务数据外, ZooKeeper还保存着版本号/时间戳等信息. 节点分为: 永久节点: 创建后一直保存着, 除非被删除 临时节点: 创建节点的会话存在, 节点就存在, 会话一旦结束, 节点就被删除. 顺序节点: 创建节点的时候, 自动为节点增加一个序列号, 多个客户端创建同一个节点, 序列号自增. 另外, zk

认识Zookeeper zookeeper是什么 分布式数据的一致性解决方案. Zookeeper 能做什么 数据发布和订阅(配置中心，config,disconf,diamond,appollo) 负载均衡 dubbo利用zookeeper的机制实现负载均衡。 命名服务 master选举 分布式锁 分布式队列 Zookeeper特征 顺序一致性 : 从同一个客户端发起事务请求，最终会严格按照顺序被应用zookeeper中。 原子性 : 所有的事务请求处理的结果在整个集群中的所有机器上的应用情况都是一致的。 可靠性 ：一旦服务器成功应用某个事务，并且对客户端做出响应，那么这个数据在整个集群中一定是同并且保留下来 实时性 : 一旦一个事务被成功应用，客户端就能够立即从服务端读取到事务变更后的最新的数据状态(近实时) 如何安装Zookeeper 一、 https://archive.apache.org/dist/zookeeper / 选择需要下载zk版本 windows安装 必须先安装jdk https://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_systemReq 查看zk和jdk兼容性 把下载好的zk.xxx.gz包解压到本地 找到conf/zoo_sample.cfg文件复制改为zoo.cfg 编辑zoo

先在官网下载安装包( https://www.apache.org/dyn/closer.cgi/zookeeper/ )， 单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：C:\zookeeper-3.4.5\下，Zookeeper 的启动脚本在 bin 目录下，Windows 下的启动脚本是 zkServer.cmd。 在你执行启动脚本之前，还有几个基本的配置项需要配置一下，Zookeeper 的配置文件在 conf 目录下，这个目录下有 zoo_sample.cfg 和 log4j.properties，你需要做的就是将 zoo_sample.cfg 改名为 zoo.cfg，因为 Zookeeper 在启动时会找这个文件作为默认配置文件。 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the