zookeeper命令

目录 1.前提 2.配置主机名到IP地址的映射 3.修改zoo.cfg配置 4.新建myid文件并写入集群标识 5.在另外两台机器进行相同操作 6.查看集群状态配置结束 接着上一篇博客linux下zookeeper单机搭建，本篇进阶一下，利用三台机器进行集群操作。保证高可用。 1.前提 作者默认读者已经准备好了三台不同ip的机器或者虚拟机，并且都已经安装好jdk，linux 下zookeeper安装教程可以参考我的另一篇博客。 https://blog.csdn.net/u010199866/article/details/81742866 以下是zookeeper真集群配置教程 我们准备的三台机器ip分别为 xx.xx.xx.1 xx.xx.xx.2 xx.xx.xx.3 2.配置主机名到IP地址的映射 (此步骤不是必须的,我们可以直接在zk的配置文件中填写IP地址)，这样配置的好处是如果某个IP地址发生了变化，我们不需要重启zookeeper，直接修改主机对应的IP地址即可。 直接修改/etc/hosts文件，设置主机zoo-1映射到x.x.x.1，设置主机zoo-2映射到x.x.x.2，设置主机zoo-3映射到x.x.x.3 三台机器都需要相同的hosts配置 vim /etc/hosts x.x.x.1 zoo-1 x.x.x.2 zoo-2 x.x.x.3 zoo-3 3

一、kafka环境配置 1.jdk安装 安装文件：http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK 安装完成后需要添加以下的环境变量（右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ）： JAVA_HOME: C:\Program Files\Java\jdk-13.0.1(jdk的安装路径) Path: 现有值后追加 "%JAVA_HOME%\bin" 2.zookeeper安装 Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper 下载安装文件： http://zookeeper.apache.org/releases.html 解压文件 apache-zookeeper-3.5.6-bin.tar 打开zookeeper-3.5.6\conf，把zoo_sample.cfg重命名成zoo.cfg 从文本编辑器里打开zoo.cfg， 把dataDir的值改成“./apache-zookeeper-3.5.6/data” 添加如下系统变量： ZOOKEEPER_HOME: C:\Users\Yc\work\apache-zookeeper-3.5.6 (zookeeper目录) Path: 在现有的值后面添加 ";

部署参考 https://yq.aliyun.com/articles/662422 https://www.baidu.com/link?url=4-82ARHt_56IJ34QcMhx9zmRvZPviwtaZrRLM-SI1m3BIFDD_2gzyasBaVTPmst2&wd=&eqid=f116d2da000ca2d4000000065da2ef60 排错参考 https://blog.csdn.net/lll0101/article/details/95448420 配置 java 环境 # 下载相应的 jdk 软件包，然后解压安装，我这里包名称为： jdk-8u91-linux-x64.tar.gz tar -xzf jdk-8u91-linux-x64.tar.gz ; mkdir -p /usr/java/ ; mv jdk1.8.0_25/ /usr/java/jdk1.8 # 然后配置环境变量，这样可以任何地方引用 jdk ，如下配置： #vi /etc/profile 最后面加入以下语句： export JAVA_HOME=/usr/java/jdk1.8 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre

自从接触Docker，便对它产生了浓厚兴趣，平时需要的开发环境也尝试使用Docker来搭建，相比较虚拟机确实方便了不少，这里主要记录一下平时在开发中使用Docker搭建过得开发环境。这里所有使用docker创建的应用都放在了dockerapps目录下。 版本：3.5 1.1 单节点部署 在dockerapps下创建zookeeper目录。此目录包含data目录用来持久化zookeeper应用数据，包含一个zoo.cfg配置文件用来配置zookeeper应用，包含一个start.sh用来启动单节点的zk。目录结构如下所示： 1234 zookeeper/├── data├── start.sh└── zoo.cfg 1.1.1 创建持久化数据目录data 在zookeeper目录下创建zk的数据持久化目录 1 mkdir data 1.1.2 创建zoo.cfg 配置文件 在zookeeper目录下创建zk的配置文件zoo.cfg，内容如下： 123 clientPort=2181dataDir=/datadataLogDir=/data/log 1.1.3 创建启动脚本start.sh 在zookeeper目录先创建zk的启动脚本start.sh，内容如下： 123 docker stop zookeeperdocker rm zookeeperdocker run -itd -p

一、安装多节点ZooKeeper集群 下面就是在本机一台机器上安装3个节点的ZooKeeper集群，在多台机器上安装的方法和一台机器上是一样的，就是配置文件有微小的调整。 1.下载ZooKeeper包 https://www-us.apache.org/dist/zookeeper/stable/ 下载带bin的tar.gz文件，目前是apache-zookeeper-3.5.6-bin.tar.gz 解压 tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz 把解压文件移动到/usr/local sudo mv apache-zookeeper-3.5.6-bin /usr/local/ 2.创建配置文件 在ZooKeeper的conf目录下创建3个配置文件zoo1.cfg,zoo2.cfg,zoo3.cfg,如果是在多台服务器上安装ZooKeeper集群可以取相同的配置文件名字。 zoo1.cfg tickTime=2000 dataDir=/home/xl/zookeeper/data_logs/zookeeper1 clientPort=2181 initLimit=5 syncLimint=2 server.1=localhost:2888:3888 server.2=localhost:2889:3889 serve.3

主机的IP地址： 主机IP地址 zookeeper kafka 10.19.85.149 myid=1 broker.id=1 10.19.15.103 myid=2 broker.id=2 10.19.189.221 myid=3 broker.id=3 配置文件： # cat zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper/data dataLogDir=/data/zookeeper/log clientPort=2181 server.1=10.19.85.149:2888:3888 server.2=10.19.15.103:2888:3888 server.3=10.19.189.221:2888:3888 #maxClientCnxns=60 #autopurge.snapRetainCount=3 #autopurge.purgeInterval=1 注释：2888表示zookeeper程序监听端口，3888表示zookeeper选举通信端口。 按照上述指定： echo 1 > /data/zookeeper/data/myid echo 2 > /data/zookeeper/data/myid echo 3 > /data/zookeeper/data/myid

消息队列学习03：Zookeeper、Kafka在Linux平台的安装和配置 安装Zookeeper 下载安装包 　　在 Apache Zookeeper镜像站点 下载安装包；我下载的是3.4.14版本 安装Zookeeper 　　1-通过XFTP将zookeeper-3.4.14.tar安装包上传到Linux服务器usr/local目录下 　　2-到usr/local目录下，确认是否成功 [root@izbp1aum9uyt0x56d3vepwz ~]# cd /usr/local/ [root@izbp1aum9uyt0x56d3vepwz local]# ls -al total 36860 drwxr-xr-x. 15 root root 4096 Oct 16 19:13 . drwxr-xr-x. 13 root root 4096 Mar 13 2019 .. drwxr-xr-x 7 root root 4096 Aug 31 03:59 aegis drwxr-xr-x. 2 root root 4096 Apr 12 2019 bin drwxr-xr-x 4 root root 4096 Aug 7 09:15 cloudmonitor drwxr-xr-x. 2 root root 4096 Apr 11 2018 etc drwxr-xr-x. 2

题外话：从字面上来看，ZooKeeper表示动物园管理员，而Hadoop生态系统中，许多项目的Logo都采用了动物，比如Hadoop采用了大象的形象，所以可以ZooKeeper就是对这些动物进行一些管理工作的。 对于单机环境进程内的协调方法，我们一般通过线程锁来协调对共享数据的访问以保证状态的一致性。 但是分布式环境如何进行协调呢？于是，Google创造了Chubby，而ZooKeeper则是对于Chubby的一个开源实现。 ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源 协调服务 ，它提供了一项基本服务： 分布式锁服务 。由于ZooKeeper的开源特性，后来我们的开发者在分布式锁的基础上，摸索了出了其他的使用方法： 配置维护、组服务、分布式消息队列、分布式通知/协调 等。它被设计为易于编程，使用文件系统目录树作为数据模型。 ZooKeeper集群模式典型架构 Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步，剩下的是follower，提供读服务，leader失效后会在follower中重新选举新的leader。 保证 顺序一致性：按照客户端发送请求的顺序更新数据。 原子性：更新要么成功，要么失败，不会出现部分更新。 单一性 ：无论客户端连接哪个server

创建主题 kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --replication-factor 3 --partitions 3 查看主题列表 kafka-topics.sh --zookeeper localhost:2181 --list 查看主题状态 kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic TestTopic 修改主题分区 kafka-topics.sh --alter --zookeeper 127.0.0.1:2181 --topic g5 --partitions 3 重新分配Partition和复制因子 kafka-reassign-partitions --generate: 根据给予的Topic列表和Broker列表生成迁移计划。generate并不会真正进行消息迁移，而是将消息迁移计划计算出来，供execute命令使用。 --execute: 根据给予的消息迁移计划进行迁移。 --verify: 检查消息是否已经迁移完成。 例子： kafka-reassign-partitions.sh --zookeeper 10.80.0.34:2181,10.80.0.36:2181,10.80

背景和什么什么就不说了，记录记录问题和过程来着。 1. 环境： Linux:CentOS 6.5 JDk:jdk-8u91-linux-x64.gz + jdk-6u45-linux-x64.bin(后面有踩了坑) Tomcat:apache-tomcat-6.0.45.tar.gz Zookeeper:zookeeper-3.4.8.tar.gz Dubbo:dubbo-admin-2.5.3.war 2.安装： 解压缩tar.gz包，使用命令： tar -zxvf xxx.tag.gz JDK的bin文件安装，可参考： http://my.oschina.net/u/1991646/blog/703205 3.配置和启动： 3.1 JDK的环境变量配置在/etc/profile文件中，对应的为jdk的解压缩路径，我这里的jdk是解压缩在/usr/tools/java8/jdk目录下，具体配置如下： #Keith JDK8 start export JAVA_HOME=/usr/tools/java8/jdk export PATH=$JAVA_HOME/bin:$PATH #export CLASSPATH=.;$JAVA_HOME/lib/dt.jar;$JAVA_HOME/lib/tools.jar #Keith JDK8 end 3.2 Zookeeper配置