zookeeper集群

Kafka主要构成： 1、Broker：集群中的每一个对应的服务器被称之为broker。 2、Topic 用于区别消息的类别，每个topic中包含多个 Partition； Partition主要可以减少每个日志的数据量，也可以增加请求的并发量。 3、Producer 消息的生产者，可通过配置partitioner.class设置消息发送到那个 Partition上。 4、Consumer 消息的消费者，可以订阅需要的topics。 其中更多的其他术语可以参考 kafka官方文档 。 Kafka配置：通过官网下载并安装，通过文件config下的相关properties进行配置； server.properties启动服务时的相关配置，可拷贝多个配置多个broker服务(单台服务器上配置多个broker服务的方式)，如 server-1.properties console-xxxx .properties启动相关控制台的配置。 1、 server.properties配置文件，启动命令 kafka：bin/kafka-server-start.sh config/server.properties # broker_id，集群环境下不能重复 broker.id=0 # broker 开放的端口 port=9092 # broker 绑定的主机名 host.name

1.准备3台机器，IP为 192.168.1.181 192.168.1.182 192.168.1.159 2.创建目录 mkdir conf data datalog 3.创建配置文件 vi conf/zoo.cfg 文件内容 tickTime=2000 initLimit=5 syncLimit=2 #maxClientCnxns=60 #autopurge.snapRetainCount=3 #autopurge.purgeInterval=1 dataDir=/data dataLogDir=/datalog clientPort=2181 server.1=192.168.1.181:2888:3888 server.2=192.168.1.182:2888:3888 server.3=192.168.1.159:2888:3888 4.创建myid，注意每台机器的文件内容不一样，我的分别为1、2、3 vi data/myid 5.分别启动zookeeper docker run -d -p 2181:2181 -p 2888:2888 -p 3888:3888 --restart=always \ -v /data:/opt/zookeeper/data \ -v /datalog:/opt/zookeeper/logs \ -v /conf:/opt

1.上传zookeeper压缩包到linux系统中 2.解压到/app目录 tar -zxvf zookeeper-3.4.5.tar.gz -C app 3.到conf目录下，修改zoo_sample.cfg为zoo.cfg 4.编辑zoo.cfg 4.1 修改本地存储路径 4.2 添加集群机器，端口 5.在新建的data目录中新建myid，内容为1，这个与刚才编辑的server.1向对应 6.把已经安装好的zookeeper复制到node002,node003中，注意修改data下的myid 7.在bin下启动zookeeper ./zkServer.sh start 为什么zkServer.sh start不可以？只能加上./ 8.查看zookeeper工作状态 ./zkServer.sh status 因为我们配置3台，只启动1台，少于集群配置的一半，zookeeper就不能工作 9.遇到此时遇到几个问题 1.在把zookeeper文件赋复制到另外两个服务器后，在启动./zkServer.sh start 后，jps查看进程，发现提示command not found 解决办法：从新安装jdk，并且重新配置环境变量 2.Zookeeper启动显示成功，zkServer.sh status报错 解决办法：网上查阅资料，有存在相同问题的朋友已解决，此处引入其解决办如下：

Kafka概述 a distributed streaming platform Kafka架构和核心概念 producer, 生产者，生产馒头。 consumer, 消费者，吃馒头。 broker, 篮子。 topic, 主题，给馒头带一个标签，topica的馒头是给你吃的，topicb的馒头是给你弟弟吃。 Zookeeper集群部署 安装包解压 ， 1 tar -xzvf zookeeper-3.4.5.tar.gz -C / export /servers zookeeper配置文件修改 ， 1 cp zoo_sample.cfg zoo.cfg 2 vi zoo.cfg 3 #数据目录. 可以是任意目录,其中的dataDir目录和dataLogDir需要提前建立好 4 #注意 应该谨慎地选择日志存放的位置，使用专用的日志存储设备能够大大地提高系统的性能，如果将日志存储在比较繁忙的存储设备上，那么将会在很大程度上影响系统的性能。 5 dataDir=/ export /servers/data/zookeeper 6 #log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置，其中的dataDir目录和dataLogDir需要提前建立好 7 #注意 应该谨慎地选择日志存放的位置，使用专用的日志存储设备能够大大地提高系统的性能

ZooKeeper 我想大家应该都略有耳闻，可能你在开发中没有直接使用过，但常用的 Hadoop、HBase、Kafka、Dubbo 等都有使用到 ZooKeeper。那 ZooKeeper 到底起到了什么样的作用，为什么这些框架、系统需要使用 ZooKeeper呢，我们在开发过程中应该如何使用 ZooKeeper，又是否有 ZooKeeper的替代品呢。本文将围绕以上问题，从以下三方面说起： 来源与作用； 经典应用场景； 替代品。 1. 来源与作用 ZooKeeper 的设计初衷是什么？这要从雅虎的一个研究小组说起。当时，研究人员发现雅虎内部的很多分布式系统都需要依赖一个组件进行分布式协调，但是这些组件往往都存在分布式单点问题。所以雅虎便组织开发了 一个通用的无单点问题的分布式协调框架 ，那就是 ZooKeeper，一方面解决 单点问题 ，另一方面，将 分布式协调 从分布式系统中 抽离 出来，让开发者更专注于业务逻辑。 下面分别对 “单点问题” 和 “分布式协调” 进行讲述。 1.1 单点问题 单点问题（又叫单点故障，Single Point of Failure，SPOF）是指在系统中一旦失效就会让整个系统无法运作的部件。举个例子，将系统只部署在机器 A 一台机器上，如果机器 A 失效，则整个系统将无法运作。而为了解决该问题，一般采用冗余的方式，增加多台机器

文章目录 1 zookeeper简介 1.1 数据发布与订阅（配置中心） 1.2 负载均衡 1.3 命名服务(Naming Service) 1.4 分布式通知/协调 1.5 集群管理与 Master 选举 1.6 分布式锁 1.7 分布式队列 1 zookeeper简介 ZooKeeper 是一个高可用的分布式数据管理不系统协调框架。基于对 Paxos 算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得 ZooKeeper 解决很多分布式问题。 网上对 ZK 的应用场景也有不少介绍，本文将系统地对 ZK 的应用场景迚行一个分门归类的介绍。 值得注意的是， ZK 并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性，利用其提供的一系列 API 接口，摸索出来的典型使用方法。 1.1 数据发布与订阅（配置中心） 发布不订阅模型，即所谓的 配置中心 ，顾名思义就是发布者将数据发布到 ZK 节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。 应用中用到的一些配置信息放到 ZK 上迚行集中管理。这类场景通常是这样：应用在启劢的时候会主动来获取一次配置，同时，在节点上注册一个 Watcher ，这样一来，以后每次配置有更新的时候，都会实时通知到订阅的客户端

这是一个系列文章，归纳整理我在 网易云课堂 JAVA微专业学习的知识点 本文内容基于3.4.11版本 简介 Apache ZooKeeper是一种用于分布式应用程序的高性能协调服务，提供一种集中式信息存储服务。 特点 数据存在内存中，类似文件系统的树形结构（文件和目录），高吞吐量和低延迟，集群高可靠。 作用 基于ZooKeeper可以实现分布式统一配置中心、服务注册中心，分布式锁等功能。 应用案例 Hbase：进行Master选举、服务间协调 Solr：进行集群管理、Leader选举、配置管理 dubbo：服务注册 Mycat：集权管理、配置管理 Sharding-sphere：聚群管理、配置管理 同类产品 consul etcd Doozer 单机版安装 下载： http://zookeeper.apache.org/releases.html 解压后conf目录，增加配置文件zoo.cfg 简单配置如下： tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181 启动服务端 bin/zkServer.sh start 测试，客户端连接 bin/zkCli.sh -server 127.0.0.1:2181 客户端常用指令 指令 描述 ls 获取子节点 create 在ZooKeeper中的某个位置穿件一个节点 delete

Zookeeper简介 　　zookeeper是致力于提供一个高性能、高可用，且具备严格的循序访问控制能力的分布式协调服务。由雅虎公司创建，是谷歌的Chubby一个开源实现，也是Hadoop和Hbase的重要组件。 特点： 　　简单数据结构： 共享的树形结构，类似文件系统，数据存储在内存中 　　顺序访问： 对于每个读请求，zk会分配一个全局唯一的递增编号，利用这个特性可以实现高级协调服务 　　可构建集群： 避免单点故障，3-5台机子便可组成集群，过半机制 保证只要超过半数机子正常工作就能对外提供服务 　　高性能： 基于内存操作，服务于非事务请求，适用于读操作为主的业务场景。3台zk集群能达到13w QPS 适用场景： 　　发布订阅 集群管理 负载均衡 配置管理 命名服务 分布式队列 分布式锁 （后面会详细学习） 下载地址 ： http://mirror.bit.edu.cn/apache/zookeeper/ 　　我在这里使用的是 zookeeper-3.5.7 版本 　　　　　　 　　　　　　这里我直接下载使用编译好的二进制文件压缩包。 安装： 　　　　 将下载好的压缩包上传到服务器，使用命令： tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz 解压 　　 修改zk的配置文件 　　我这里使用的是伪集群模式　 　　　　

搭建Hadoop集群环境时，在HA和Hbase操作时，需要使用zookeeper进行分布式数据管理和系统协调，今天讲述下如何进行安装。 准备三台服务器node1,node2,node3. 1.进入官网下载zookeeper-3.4.6版本（与后面hbase版本匹配，官方推荐版本） https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/ 2.使用xftp上传了centos中 3.进入/usr/local/目录下 .解压压缩文件 tar -zxvf zookeeper-3.4.6.tar.gz 4.创建新文件夹 mkdir zk346 5.将解压后zookeeper-3.4.6/* 移动到zk346目录下 mv zookeeper-3.4.6/* zk346/ 6.配置环境变量 vi /etc/profile 保存后执行source /etc/profile 7.进入zk346/conf 复制文件zoo_sample.cfg 为zoo.cfg 我是配置好了再过来截图的，所以我在查看的时zoo.cfg已存在了 8.编辑配置zoo.cfg文件 9. 在/opt目录下创建zookeeper文件夹，并在zookeeper目录下创建文件myid.指定服务器编号 mkdir zookeeper vi zookeeper/myid

问题导读： 1.zookeeper有哪些配置文件？ 2.zookeeper最低配置需要哪些配置项？ 3.zookeeper高级配置需要配置哪些项？ ZooKeeper 的功能特性通过 ZooKeeper 配置文件来进行控制管理（ zoo.cfg 配置文件）。 ZooKeeper 这样的设计其实是有它自身的原因的。通过前面对 ZooKeeper 的配置可以看出，对 ZooKeeper 集群进行配置的时候，它的配置文档是完全相同的（对于集群伪分布模式来说，只有很少的部分是不同的）。这样的配置方使得在部署ZooKeeper 服务的时候非常地方便。另外，如果 服务器 使用不同的配置文件，必须要确保不同配置文件中的服务器列表相匹配。 在设置 ZooKeeper 配置文档的时候，某些参数是可选的，但是某些参数是必须的。这些必须的参数就构成了ZooKeeper 配置文档的最低配置要求。 下面是在最低配置要求中必须配置的参数： 1 ）最低配置 clientPort 监听客户端连接的端口； dataDir 存储内存中 数据库 快照的位置； 注意 应该谨慎地选择日志存放的位置，使用专用的日志 存储设备 能够大大地提高系统的性能，如果将日志 存储 在比较繁忙的存储设备上，那么将会在很大程度上影响系统的性能。 tickTime 基本事件单元，以毫秒为单位。它用来控制心跳和超时