zookeeper命令

安装 zookeeper支持brew安装。 查看zookeeper 信息 $ brew info zookeeper 安装zookeeper $ brew install zookeeper 安装后，在 /usr/local/etc/zookeeper/ 目录下，已经有了缺省的 配置文件 。 $ ls /usr/local/etc/zookeeper defaults log4j.properties zoo.cfg zoo_sample.cfg 打开配置文件 $ less -N /usr/local/etc/zookeeper/zoo.cfg 1 # The number of milliseconds of each tick 2 tickTime=2000 3 # The number of ticks that the initial 4 # synchronization phase can take 5 initLimit=10 6 # The number of ticks that can pass between 7 # sending a request and getting an acknowledgement 8 syncLimit=5 9 # the directory where the snapshot is stored. 10 # do not

工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险。需要立刻把副本数改为3个。 开始干活，首先想到的是下面的命令： ${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --partitions $2 --alter ${BIN_PATH}/kafka-topics.sh --zookeeper ${ZOOKEEPER_ADDR} --topic $1 --replication-factor $2 --alter 运行时修改partition成功，修改副本数失败，错误如下: :2181 --topic test --replication-factor 2 --alter Option "[replication-factor]" can't be used with option "[alter]" 马上度娘，有很多方法都是用json文件的方式修改，试验了下都不成功，直接去官网查权威 https://kafka.apache.org/21/documentation.html#basic_ops_increase_replication_factor 思路没错，原来是网上的json文件写不对。解决方法： 1/ 建一个测试topic

1.1. Zookeeper的 安装 与使用 ZooKeeper的安装包括单机模式安装，以及集群模式安装。 安装如果有不懂可以看： https://blog.csdn.net/lihao21/article/details/51778255 1.1.1. Windows环境下搭建Zookeeper 环境要求：必须要有 jdk环境。 （1） 安装 jdk （2） 安装 zookeeper，可以在http://zookeeper.apache.org/官网下下载zookeeper。 我下载的是 3.3.6版本的zookeeper。 （3） 解压 zookeeper后获取到zookeeper的目录。 对主要的一些目录做介绍： Bin：主要运行的一些脚本 Conf：配置文件的所在地 Lib：zookeeper的jar （4） 启动 zookeeper服务 走到 bin目录下去运行zkServer.cmd，双击它，但是出现一闪而退的情况，这是正常的。 到 conf目录下将zoo_sample.cfg复制粘贴命名为zoo.cfg。 并修改其中的内容： 1 # The number of milliseconds of each tick 2 3 tickTime=2000 4 5 # The number of ticks that the initial 6 7 #

1. 脚本使用小结 1.开启集群 start-hbase.sh 2.关闭集群 stop-hbase.sh 3.开启/关闭【所有】的regionserver、zookeeper hbase-daemons.sh start/stop regionserver/zookeeper 4.开启/关闭【单个】的regionserver、zookeeper hbase-daemon.sh start/stop regionserver/zookeeper 5.开启/关闭master hbase-daemon.sh start/stop master 是否成为active master取决于当前是否有active master 2. 两个进阶脚本 6.rolling-restart.sh 可以用来挨个滚动重启 7.graceful_stop.sh move服务器上的所有region后，再stop/restart该服务器，可以用来进行版本的热升级 几个细节： 1。hbase-daemon.sh start master 与 hbase-daemon.sh start master --backup，这2个命令的作用一样的，是否成为backup或active是由master的内部逻辑来控制的 2。stop-hbase.sh不会调用hbase-daemons.sh stop regionserver

Zookeeper 是Hadoop分布式调度服务，用来构建分布式应用系统。构建一个分布式应用是一个很复杂的事情，主要的原因是我们需要合理有效的处理分布式集群中的部分失败的问题。例如，集群中的节点在相互通信时，A节点向B节点发送消息。A节点如果想知道消息是否发送成功，只能由B节点告诉A节点。那么如果B节点关机或者由于其他的原因脱离集群网络，问题就出现了。A节点不断的向B发送消息，并且无法获得B的响应。B也没有办法通知A节点已经离线或者关机。集群中其他的节点完全不知道B发生了什么情况，还在不断的向B发送消息。这时，你的整个集群就发生了部分失败的故障。 Zookeeper不能让部分失败的问题彻底消失，但是它提供了一些工具能够让你的分布式应用安全合理的处理部分失败的问题。 Zookeeper基本 是什么 是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接受管擦者的注册，一旦这些数据的状态发生了变化，Zookeeper就将负责通知已经在Zookeeper上注册的观察者做出相应的反应。 特点是什么 集群中半数以上的机器存活，Zookeeper集群就可以正常服务。 集群数据保持一致，每一个Server保存一分相同的数据副本，Client无论连接那个Server，数据都是一致的。 Zookeeper的工作机制 Zookeeper 特点 Zookeeper:

Zookeeper是Hadoop分布式调度服务，用来构建分布式应用系统。构建一个分布式应用是一个很复杂的事情，主要的原因是我们需要合理有效的处理分布式集群中的部分失败的问题。例如，集群中的节点在相互通信时，A节点向B节点发送消息。A节点如果想知道消息是否发送成功，只能由B节点告诉A节点。那么如果B节点关机或者由于其他的原因脱离集群网络，问题就出现了。A节点不断的向B发送消息，并且无法获得B的响应。B也没有办法通知A节点已经离线或者关机。集群中其他的节点完全不知道B发生了什么情况，还在不断的向B发送消息。这时，你的整个集群就发生了部分失败的故障。 Zookeeper不能让部分失败的问题彻底消失，但是它提供了一些工具能够让你的分布式应用安全合理的处理部分失败的问题。 Zookeeper基本 是什么 是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，然后接受管擦者的注册，一旦这些数据的状态发生了变化，Zookeeper就将负责通知已经在Zookeeper上注册的观察者做出相应的反应。 特点是什么 集群中半数以上的机器存活，Zookeeper集群就可以正常服务。 集群数据保持一致，每一个Server保存一分相同的数据副本，Client无论连接那个Server，数据都是一致的。 Zookeeper的工作机制 Zookeeper 特点 Zookeeper:

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1. 前言 19年过的还蛮快，这篇博客作为20年的第一篇，我想在这里为前一年做一个简单的总结：说真的，19年过的蛮凄惨的。😄没错，总结就是这一句话，毕竟仪式感必须还是要有的。 好了，不说这些了，希望20年过的好吧，多存点钱，少点烦恼。 2. 简单说一下zookeeper是什么，可以解决什么问题 ZooKeeper 是Hadoop下的一个子项目，它是一个针对大型分布式系统的可靠协调系统；它提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 统一命名 在分布式环境中统一命名服务就像域名与ip一样，IP不容易记住，域名比较容易记住，统一命名服务，可以直接来通过服务名称获取服务的地址等关键信息。 配置管理 这个比较好理解，在分布式项目中，每个项目的配置提取出来，统一管理。目前市面上用的多的是apollo，nacos，spring cloud conifg等 集群管理 担任服务生产者和服务消费者的注册中心，服务生产者将自己提供的服务注册到Zookeeper中心，服务的消费者在进行服务调用的时候先到Zookeeper中查找服务，获取到服务生产者的详细信息之后，再去调用服务生产者的内容与数据。 分布式通知与协调 心跳机制

@[TOC] 1、环境准备 1.1下载zooKeeper    查阅hadoop2.7.3的文档我们可以看到hadoop2.7.3在搭建高可用的时候使用的是zookeeper-3.4.2版本，所以我们也按照hadoop官网的提示，接下来我们安装zookeeper-3.4.2版本.进入官网下载ZooKeeper3.4.2版本    官网地址： https://zookeeper.apache.org/ 点击 Download 1.3安装zooKeeper #1.把zookeeper的压缩安装包解压到/opt/bigdata/目录下 [root@node1 ~]# tar -xzvf zookeeper-3.4.2.tar.gz -C /opt/bigdata/ #输入完命令后回车 #2.切换到bigdata目录下 [root@node1 ~]# cd /opt/bigdata/ #3.按照安装hadoop的方式，将zookeeper的安装目录的所属组修改为hadoop:hadoop #修改zookeeper安装目录的所属用户和组为hadoop:hadoop [root@node1 bigdata]# chown -R hadoop:hadoop zookeeper-3.4.2/ #4.修改zookeeper安装目录的读写权限 [root@node1 bigdata]# chmod

@[TOC] 1、环境准备 1.1下载zooKeeper    查阅hadoop2.7.3的文档我们可以看到hadoop2.7.3在搭建高可用的时候使用的是zookeeper-3.4.2版本，所以我们也按照hadoop官网的提示，接下来我们安装zookeeper-3.4.2版本.进入官网下载ZooKeeper3.4.2版本    官网地址： https://zookeeper.apache.org/ 点击 Download 1.3安装zooKeeper #1.把zookeeper的压缩安装包解压到/opt/bigdata/目录下 [root@node1 ~]# tar -xzvf zookeeper-3.4.2.tar.gz -C /opt/bigdata/ #输入完命令后回车 #2.切换到bigdata目录下 [root@node1 ~]# cd /opt/bigdata/ #3.按照安装hadoop的方式，将zookeeper的安装目录的所属组修改为hadoop:hadoop #修改zookeeper安装目录的所属用户和组为hadoop:hadoop [root@node1 bigdata]# chown -R hadoop:hadoop zookeeper-3.4.2/ #4.修改zookeeper安装目录的读写权限 [root@node1 bigdata]# chmod

zk集群的一些基本概念 zookeeper集群搭建： zk集群，主从节点，心跳机制（选举模式） 配置数据文件 myid 1/2/3 对应 server.1/2/3 通过 zkCli.sh -server [ip]:[port] 命令检测集群是否配置成功 和其他大多数集群结构一样，zookeeper集群也是主从结构。搭建集群时，机器数量最低也是三台，因为小于三台就无法进行选举。选举就是当集群中的master节点挂掉之后，剩余的两台机器会进行选举，在这两台机器中选举出一台来做master节点。而当原本挂掉的master恢复正常后，也会重新加入集群当中。但是不会再作为master节点，而是作为slave节点。如下： 单机伪分布式搭建zookeeper集群 本节介绍单机伪分布式的zookeeper安装，官方下载地址如下： https://archive.apache.org/dist/zookeeper/ 我这里使用的是3.4.11版本，所以找到相应的版本点击进去，复制到.tar.gz的下载链接到Linux上进行下载。命令如下： [root@study-01 ~]# cd /usr/local/src/ [root@study-01 /usr/local/src]# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4