zookeeper命令

解压zookeeper到指定目录 tar -zxvf zookeeper-3.4.12.tar.gz -C /opt/sinb/ 在zookeeper的安装目录下创建data文件夹 cd /opt/sinb/zookeeper-3.4.12 mkdir data 配置zookeeper参数 cd /opt/sinb/zookeeper-3.4.12/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg 将dataDir路径修改为自己创建的data目录下 添加主机IP(或者主机名)，通讯端口，选举端口， 修改完成后保存退出 将解压的zookeeper文件夹拷贝到另外两台机器 命令形式：scp /opt/sinb/zookeeper-3.4.12/ 用户名@主机名:/opt/sinb/ scp /opt/sinb/zookeeper-3.4.12/ hadoop@hadoop102:/opt/sinb/ scp /opt/sinb/zookeeper-3.4.12/ hadoop@hadoop103:/opt/sinb/ 分别在三台机器上的data目录下创建myid文件 在101机器上执行：cd /opt/sinb/zookeeper-3.4.12/data/ echo 101 > myid 在102机器上执行：cd /opt/sinb/zookeeper

一、背景介绍 本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。 二、大数据介绍 大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。 针对以上主要的4个特征我们需要考虑以下问题： 数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。 数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。 由于数据增长速度快，数据存储就必须可以水平扩展。 数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？ 对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎； 普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架； 但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn

ZooKeeper数据模型 ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间，都是采用树形层次结构，ZooKeeper树中的每个节点被称为—Znode。和文件系统的目录树一样，ZooKeeper树中的每个节点可以拥有子节点。但也有不同之处： 1.Znode兼具文件和目录两种特点 。既像文件一样维护着数据、元信息、ACL、时间戳等数据结构，又像目录一样可以作为路径标识的一部分，并可以具有子Znode。用户对Znode具有增、删、改、查等操作（权限允许的情况下）。 2.Znode具有原子性操作 ，读操作将获取与节点相关的所有数据，写操作也将替换掉节点的所有数据。另外，每一个节点都拥有自己的ACL(访问控制列表)，这个列表规定了用户的权限，即限定了特定用户对目标节点可以执行的操作。 3.Znode存储数据大小有限制 。ZooKeeper虽然可以关联一些数据，但并没有被设计为常规的数据库或者大数据存储，相反的是，它用来管理调度数据，比如分布式应用中的配置文件信息、状态信息、汇集位置等等。这些数据的共同特性就是它们都是很小的数据，通常以KB为大小单位。ZooKeeper的服务器和客户端都被设计为严格检查并限制每个Znode的数据大小至多1M，当时常规使用中应该远小于此值。 4.Znode通过路径引用 ，如同Unix中的文件路径。路径必须是绝对的

三个核心选举原则： （1）Zookeeper集群中只有超过半数以上的服务器启动，集群才能正常工作； （2）在集群正常工作之前，myid小的服务器给myid大的服务器投票，直到集群正常工作，选出Leader； （3）选出Leader之后，之前的服务器状态由Looking改变为Following，以后的服务器都是Follower。 下面以一个简单的例子来说明整个选举的过程： 假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。 假设这些服务器从id1-5，依序启动： 因为一共5台服务器，只有超过半数以上，即最少启动3台服务器，集群才能正常工作。 （1）服务器1启动，发起一次选举。 服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成； 服务器1状态保持为LOOKING； （2）服务器2启动，再发起一次选举。 服务器1和2分别投自己一票，此时服务器1发现服务器2的id比自己大，更改选票投给服务器2； 此时服务器1票数0票，服务器2票数2票，不够半数以上（3票），选举无法完成； 服务器1，2状态保持LOOKING； （3）服务器3启动，发起一次选举。 与上面过程一样，服务器1和2先投自己一票，然后因为服务器3id最大，两者更改选票投给为服务器3； 此次投票结果：服务器1为0票

环境版本 操作系统：CentOS release 6.6(Final) java版本：jdk1.8 zookeeper版本：zookeeper-3.4.11 1 安装JDK 此处省略 2 安装Zookeeper 2.1 下载源码包，并解压 官网下载 wget http : / / mirror . olnevhost . net / pub / apache / zookeeper / zookeeper - 3.4 .11 / zookeeper - 3.4 .11 . tar . gz tar zxvf zookeeper - 3.4 .11 . tar . gz mv zookeeper - 3.4 .11 / usr / local / zookeeper 2.2 修改环境变量 编辑/etc/profile文件，在文件末尾添加以下环境变量配置： # ZooKeeper Env export ZOOKEEPER_HOME = / usr / local / zookeeper export PATH = $PATH : $ZOOKEEPER_HOME / bin 运行 source /etc/profile 使环境变量生效。 2.3 重命名配置文件 初次使用ZooKeeper时，需要将$ZOOKEEPER_HOME/conf目录下的zoo_sample.cfg重命名为zoo

zookeeper设置开机自动启动 第一种：直接修改/etc/rc.d/rc.local文件 在/etc/rc.d/rc.local文件中需要输入两行，其中export JAVA_HOME=/usr/java/jdk1.8.0_112是必须要有的，否则开机启动不成功，大家根据自己JDK安装的位置自行更改。另一行/usr/local/zookeeper-3.4.5/bin/zkServer.sh start则是我们zookeeper的启动命令。配置好之后，重启虚拟机，会发现已经可以开机自启了。 第二种：把zookeeper做成服务 1、进入到/etc/rc.d/init.d目录下，新建一个zookeeper脚本 [root@zookeeper ~]# cd /etc/rc.d/init.d/ [root@zookeeper init.d]# pwd /etc/rc.d/init.d [root@zookeeper init.d]# touch zookeeper 2、给脚本添加执行权限 [root@zookeeper init.d]# chmod +x zookeeper 3、使用命令vim zookeeper进行编辑，在脚本中输入如下内容，其中同上面注意事项一样要添加export JAVA_HOME=//usr/java/jdk1.8.0_112这一行，否则无法正常启动。

第一种：直接修改/etc/rc.d/rc.local文件 在/etc/rc.d/rc.local文件中需要输入两行，其中export JAVA_HOME=/usr/java/jdk1.8.0_112是必须要有的，否则开机启动不成功，大家根据自己JDK安装的位置自行更改。另一行/usr/local/zookeeper-3.4.5/bin/zkServer.sh start则是我们zookeeper的启动命令。配置好之后，重启虚拟机，会发现已经可以开机自启了。 [root@zookeeper ~]# vim /etc/rc.d/rc.local #!/bin/sh # # This script will be executed *after* all the other init scripts. # You can put your own initialization stuff in here if you don't # want to do the full Sys V style init stuff. touch /var/lock/subsys/local export JAVA_HOME=/usr/java/jdk1.8.0_112 /usr/local/zookeeper-3.4.5/bin/zkServer.sh start 第二种：把zookeeper做成服务

1 在init.d目录下新建脚本文件 进入到/etc/rc.d/init.d目录下，命令是： cd /etc/rc.d/init.d 新建一个名为zookeeper的文件，命令是： touch zookeeper 如图： 1.1文件内容的第一种方案(推荐) 使用vim命令修改文件内容，文件内容的写法有很多，除了上面的第一种方案，用下面的这种也可以： #!/bin/bash #chkconfig: 2345 10 90 #description: service zookeeper export JAVA_HOME=/opt/java/jdk1.8.0_121 export ZOO_LOG_DIR=/opt/zookeeper/log ZOOKEEPER_HOME=/opt/zookeeper/zookeeper-3.4.10 su root ${ZOOKEEPER_HOME}/bin/zkServer.sh "$1" 1.2文件内容的第二种方案 使用vim命令修改文件内容，文件内容是： #!/bin/bash #chkconfig: 2345 10 90 #description: service zookeeper export JAVA_HOME=/usr/java/jdk1.7.0_45 export ZOOKEEPER_HOME=/usr/local/zookeeper

第一种、修改vim /etc/rc.local文件 vim /etc/rc.local 加入： export JAVA_HOME=/usr/local/JAVA/　　--JDK安装路径 /data/zookeeper-3.4.11/bin/zkServer.sh start 重启后生效 第二种、建立zookeeper服务 1、进入到/etc/rc.d/init.d目录下，新建一个zookeeper脚本 vim /etc/init.d/zookeeper #!/bin/bash #chkconfig:2345 20 90 #description:zookeeper #processname:zookeeper export JAVA_HOME=/usr/local/JAVA case $1 in start) su root /data/zookeeper-3.4.11/bin/zkServer.sh start;; stop) su root /data/zookeeper-3.4.11/bin/zkServer.sh stop;; status) su root /data/zookeeper-3.4.11/bin/zkServer.sh status;; restart) su root /data/zookeeper-3.4.11/bin/zkServer.sh

当然 这方法也是我再网上学习的，亲自测试可以使用，才会记录下来 两种方式可以实现开机自启动 第一种：直接修改/etc/rc.d/rc.local文件 在/etc/rc.d/rc.local文件中需要输入两行，其中export JAVA_HOME=/usr/java/jdk1.8.0_112是必须要有的，否则开机启动不成功，大家根据自己JDK安装的位置自行更改。另一行/usr/local/zookeeper-3.4.5/bin/zkServer.sh start则是我们zookeeper的启动命令。配置好之后，重启虚拟机，会发现已经可以开机自启了。 [root@zookeeper ~]# vim /etc/rc.d/rc.local #!/bin/sh # # This script will be executed *after* all the other init scripts. # You can put your own initialization stuff in here if you don't # want to do the full Sys V style init stuff. touch /var/lock/subsys/local export JAVA_HOME=/usr/java/jdk1.8.0_112 /usr/local/zookeeper