zookeeper命令

Kafka并没有使用Eureka作为注册中心，必须使用 ZooKeeper ，好在Kafka安装包自带了 ZooKeeper ，只需下载Kafka就好了 下载 Apache Kafka Kafka 快速入门 环境安装 下载Kafka并解压后可以看到目录结构如下： kafka +- bin +- windows +- config +- libs +- logs +- site -docs 因为 Kafka 是依赖 ZooKeeper 的，所以在 bin 和 config 目录下除了Kafka相关的内容还存在ZooKeeper 相关的内容。 bin 目录存放了 Kafka 和 ZooKeeper 的命令行工具，其中根目录是适用于 Linux/UNIX 的shell， bin/windows 下则存放的适用于 Windows 的bat。 config 目录则存放了 Kafka 和 ZooKeeper的配置信息。 启动测试 启动 ZooKeeper，执行命令 zookeeper-server-start config/zookeeper.properties ，该命令需要指定 ZooKeeper 的配置文件位置才能正确启动，Kafka 的压缩包中包含了其默认配置，开发和测试环境无需修改。 启动 Kafka，执行命令 kafka-server-start config/server

规则的持久化问题。现在的规则都是在内存里的，我们要写一些代码来编一些规则。启动以后规则在内存里了。如果你配置里面有sentinel的dashboard，有流量经过客户端的时候，它会把规则同步给Dashboard，同样的sentinel的dashboard页面上增加或者修改规则后。sentinel也会把规则推给相应的客户端， 我们之前在配置文件内配置了这个 sentinel的port。sentinel的客户端还会再起一个服务。一旦dashboard去改这个配置的时候，它就会调用客户端的服务把响应的配置推送过来 那么规则永远是在客户端的内存中的，同样sentinel的dashboard规则也是内存里面的。一旦dashboard或者客户端重启，这些变化过的规则就都消失了。 想要的效果是有一个远程的配置中心，这个配置中心可能是ZooKeeper或者是Nacos或者是阿波罗等，这些都是支持的。 要做两件事： 1.让sentinel的Dashboard知道，当我的配置规则变化的时候，我要把配置规则推到远程配置中心，然后把它持久化保存起来。 2.客户端也要做改造，客户端要知道我的配置规则都在远程配置中心存着，然后一旦有变化的时候，配置中心要推给我，我要能接收这个新的规则，来更新我自己的配置， 这样不管是Dashboard还是客户端他们重启后都不会丢掉现有的规则配置。 开始改造

转载自 https://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 3、Kafka和其他主流分布式消息系统的对比 定义解释： 1、Java 和 scala都是运行在JVM上的语言。 2、erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议

从0开始的高并发（一）--- Zookeeper的基础概念 https://juejin.im/post/5d0bd358e51d45105e0212db 前言 前面几篇以spring作为主题也是有些时日了，高并发分布式这个主题也挺大能说挺多东西的，也是再开了个坑，然后分P来慢慢跟进吧。 我和大部分人一样是一名学习者，不是布道者，更多的是自己的学习总结而不具有权威，进行总结，尽量让人看的简单是我的本意，然后有错则改，无则加勉是最好的，在此也希望大家共同进步。 高并发分布式开发技术体系已然非常的庞大，从国内互联网企业使用情况，可发现RPC、Dubbo、ZK是最基础的技能要求。 关于Zookeeper你是不是还停留在Dubbo注册中心的印象中呢？还有它的工作原理呢？经典应用场景呢？对前面三个问题，如若回答时没有自己的思路或者说并未了解，那么我觉得我可以帮助到你去入门，并深化这些知识，让你在面试中更好地去回答。 话不多说进入正题 1. 并发环境下面临的挑战 回忆我们学多线程的时候，网上有个图也是十分的有意思 其实我们把线程换成进程，相当于每台服务上跑了一个程序，相同的应用程序运行于多个服务器集群上，是为了解决单台服务面对高并发处理不来的情况。而尝试去处理这些情况，我们就会面临很多诸如此类的问题 比如说我们现在是3台服务器的一个集群， 怎么保证所有机器共享的配置信息保持一致？

zk 可视化客户端 zk 可视化工具： ZooInspector 参考： https://www.jianshu.com/p/f45af8027d7f 简介 特性 目录 还有 recipes 目录下面就是 demo ,, src 目录就是 zookeeper 的源码 配置 # The number of milliseconds of each tick 用于计算的时间单元 毫秒 ： 比如 session 超时 ： N* tickTime 。 所有的时间都是 以这个为单位 tickTime=5000 # The number of ticks that the initial # synchronization phase can take 用于集群，允许从节点连接并同步到 master 节点的初始化连接时间，以 tickTime 的倍数表示 initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement 用于集群，master 主节点与从节点之间发生消息，请求和应答时间长度（心跳机制） syncLimit=5 # the directory where the snapshot is stored. # do not use

一、ZooKeeper入门 　　1.1 ZooKeeper 概述 　　 Zookeeper是一个 基于观察者模式分布式开源框架 ，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务 ——分布式同步（ Distributed Synchronization）、命名服务（ Naming Service）、集群维护（ Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。 ZooKeeper本身可以以单机模式安装运行，不过它的长处在于 通过分布式 ZooKeeper集群（一个 Leader，多个 Follower），基于一定的策略来保证 ZooKeeper集群的稳定性和可用性，从而实现分布式应用的可靠性。 　　1.2 集群机制 　　 Zookeeper集群的角色： Leader 和 follower 　　只要集群中有半数以上节点存活，集群就能提供服务 　　1.3 ZooKeeper 特性 　　　 1. 一个leader，多个follower组成的集群 　　　2、 全局数据一致： 每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的 　　　3、分布式读写，更新请求转发，由leader实施 　　　4、更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行 　　　5、 数据更新原子性

docker快速安装kafka，zookeeper ，体验spring-boot-demo-mq-kafka Linux先开放以下端口：2181 ，9092 搜索镜像 zookeeper ，kafka https://hub.docker.com/ 1.https://hub.docker.com/_/zookeeper?tab=tags 拉取镜像命令：docker pull zookeeper:3.5.6 2.https://hub.docker.com/r/wurstmeister/kafka/tags 拉取镜像命令：docker pull wurstmeister/kafka:2.12-2.3.0 3.运行zookeeper 命令： docker run --name:zookeeper -p 2181:2181 -d zookeeper:3.5.6 4.运行kafka连接zookeeper命令 docker run -d --name kafka \ -p 9092:9092 \ -e KAFKA_BROKER_ID=0 \ -e KAFKA_ZOOKEEPER_CONNECT=192.168.88.129:2181 \ -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.88.129:9092 \ -e KAFKA

概述 Zookeeper字面上理解就是动物管理员，是大数据框架Hadoop生态圈中的一个服务中间件，Hadoop生态圈中很多开源项目使用动物命名，那么需要一个管理员来管理这些“动物”。他负责分布式应用程序协调的工作。 Hadoop框架 Zookeeper主要提供以下四点功能： 统一命名服务、配置管理、集群管理、共享锁和队列管理 ，用于高效的管理集群的运行。 Zookeeper通过心跳机制可以检测挂掉的机器并将挂掉机器的ip和服务对应关系从列表中删除。 Zookeeper 部署有三种方式，单机模式、集群模式、伪集群模式，以下采用Docker 的方式部署 注意： 集群为大于等于3个奇数，如 3、5、7,不宜太多，集群机器多了选举和数据同步耗时长，不稳定。 zk安装 docker-compose-yml version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=zoo1:2888:3888 配置说明 2181：客户端连接 Zookeeper 集群使用的监听端口号 3888：选举 leader 使用 2888：集群内机器通讯使用（Leader 和

Zookeeper 课程目标 一 、 什么 Zookeeper Zookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以单机模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Leader，多个Follower），基于一定的策略来保证ZooKeeper集群的稳定性和可用性，从而实现分布式应用的可靠性。 1、zookeeper是为别的分布式程序服务的 2、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） 3、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统> 一名称服务等 4、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能： 管理 (存储，读取)用户程序提交的数据（类似namenode中存放的metadata）； 并为用户程序提供数据节点监听服务； 1.1 Zookeeper 集群 机制 Zookeeper集群的角色： Leader 和 follower

Zookeeper集群(linxu)搭建 环境 要求 : 必须要有jdk环境 ,本次 讲课使用 jdk1.8 3.1 结构 一共 三 个 节点 集群的服务器数量一般为2n+1个,(zk服务器集群规模不小于3个节点),要求服务器之间系统时间保持一致。 3.2 上传 zk 并且解压 进行解压： tar -zxvf zookeeper-3.4.6.tar.gz 重命名： mv zookeeper-3.4.6 zookeeper 3.3 修改 zookeeper 环境变量 vi /etc/profile export JAVA_HOME=/opt/jdk1.8.0_71 //jdk安装目录 export ZOOKEEPER_HOME=/usr/local/zookeeper //zookeeper安装目录 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$PATH source /etc/profile //使修改的配置生效 3.4 修改 zoo_sample.cfg 文件 //将zoo_sample.cfg的名称更改为 zoo.cfg cd /usr/local/zookeeper/conf mv zoo