zookeeper命令

一、介绍 Apache Druid 是一个开源的分布式数据存储。德鲁伊的核心设计结合了 OLAP /分析数据库，时间序列数据库和搜索系统的思想，为广泛的用例创建了一个统一的系统。Druid将这三个系统中每个系统的关键特征合并到其接收层，存储格式，查询层和核心体系结构中。 二、下载地址 druid地址： https://www.apache.org/dyn/closer.cgi?path=/incubator/druid/0.16.1-incubating/apache-druid-0.16.1-incubating-bin.tar.gz zookeeper下载地址： http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.5/ 三、解压部署 tar -zxvf apache-druid-0.14.2-incubating-bin.tar.gz 四、使用快速开始配置 五、启动命令 bin / supervise - c quickstart / tutorial / conf / tutorial - cluster . conf 六、依赖zk 将zookeeper放入解压目录中。同时修改名称为zk 七、push数据 bin / post - index - task -- file quickstart / tutorial

启动客户端脚本 默认启动 通过 bin 目录下的zkCli.sh脚本可以启动客户端，该方法默认连接的是本地的Zookeeper服务器。 . zkCli.sh 启动成功时，可以看到以下输出信息。 指定地址和端口 使用 zkCli.sh 时，也可以指定某一个服务器的地址和端口。 . zkCli.sh -server ip:port 创建节点 使用 create 命令，创建一个Zookeeper节点。 create [-s] [-e] path data acl -s： 顺序节点 -e： 临时节点 path： 节点名称 data： 节点数据 acl： acl权限控制 读取 ls 使用 ls 可以列出指定节点下的所有子节点，该命令只能查看第一级的所有子节点。 ls path [watch] get 使用 get 可以获取节点的数据内容和属性信息。 get path [watch] ls或get后可以加watch，当其他客户端更改数据内容会发出通知（只会接收一次）。 更新 使用 set 命令，可以更新指定节点的数据内容，数据版本在数据内容更新之后都会加一。 set path data [version] 删除 使用 delete 命令可以删除某一个节点，被删除的节点不能有子节点存在。 delete path [version] 不能删除有子节点的节点。 来源： CSDN 作者： 一只小P熊

安装前准备： hadoop已安装（参见我的hadoop安装） Namenode名：master DataNode名：slave01，slave02 本文包括两个部分： zookeeper安装 和 HBase安装 一、安装zookeeper 在安装好分布式hadoop的环境下，继续安装zookeeper-3.4.6。 下载zookeeper-3.4.6 http://www.apache.org/dyn/closer.cgi/zookeeper/ 解压文件 $ tar -zvxf zookeeper-3.4.6.tar.gz mv zookeeper-3.4.6 /usr/zookeeper-3.4.6 改zoo.cfg $ mv zookeeper-3.4.5/conf/zoo_sample.cfg zookeeper-3.4.5/conf/zoo.cfg 修改zookeeper配置文件： $ vi zookeeper-3.4.6/conf/zoo.cfg 做如下修改： tickTime=2000 dataDir=/usr/zookeeper //zookeeper文件的目录 clientPort=2181 initLimit=5 syncLimit=2 server.1=master:2888:3888 server.2=slave01:2888:3888 server.3

Kafka初识 Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 Kafka和其他主流分布式消息系统的对比 定义解释： Java 和 scala都是运行在JVM上的语言。 erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议，他也是仿照AMQP（ Advanced Message Queuing Protocol 高级消息队列协议）设计的。 事物的概念：在数据库中

1.zookeeper下载 下载博主自己用的比较多的zookeeper-3.4.8.tar.gz版本 小生在此，请点击下载，come on！ 2.解压下载安装包。 tar - zxvf zookeeper - 3 . 4 . 8 . tar . gz 3.跳转zookeeper-3.4.8目录，新建data文件夹，用作数据存储路径。 [root@instance-n4r06itt zookeeper-3.4.8] # mkdir data 4.拷贝zoo_sample.cfg文件。 [root@instance-n4r06itt conf] # cp zoo_sample.cfg zoo.cfg 5.修改zoo.cfg，添加数据存放路径。 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the

Kafka 单机部署区分集成Zookeeper 部署和Zookeeper + Kafka 部署俩总方式，如果是单机部署Kafka，集成Zookeeper 最简单，也可以选择Zookeeper + Kafka 这种模式，但是如果为Kafka集群的话，则必须需要部署 Zookeeper 集群。 一. 获取解压 1. 下载 wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz 2. 解压kafka tar -zxvf kafka_2.11-0.10.1.1.tgz 二. 配置修改 1. 集成Zookeeper 配置修改方式 1.0 配置profile vi /etc/profile export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1 export PATH=$PATH:$KAFKA_HOME/bin source /etc/profile #配置生效 1.1 配置zookeeper.properties vi conf/zookeeper.properties dataDir=**** #根据自己情况设定 ckuebtPort=2291 1.2 配置server.properties vi server.properties log.dirs = ***

二、环境搭建 参考：http://kafka.apache.org/documentation.html#quickstart Step 1: 下载Kafka wget http://mirrors.noc.im/apache/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz 解压: > tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9.2-0.8.1.1 复制代码 Step 2: 启动服务 Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号，这样就可以启动后离开控制台。 > bin/zookeeper-server-start.sh config/zookeeper.properties & [2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig) ... 复制代码 现在启动Kafka: > bin/kafka-server-start.sh config/server.properties

Zookeeper集群快速搭建 1.cd /usr/local/zookeeper/conf(如在192.168.212.101服务器) mv zoo_sample.cfg zoo.cfg 修改conf: vi zoo.cfg 修改两处 （1） dataDir=/usr/local/zookeeper/data（注意同时在zookeeper创建data目录） （2）最后面添加（基数台服务器） server.0=192.168.212.101:2888:3888 server.1=192.168.212.102:2888:3888 server.2=192.168.212.103:2888:3888 Ip:心跳端口：通讯端口 2.创建服务器标识即myid 在dataDir 目录下创建myid文件，内容为0 ，对应server.0（如在192.168.212.101服务器) 3.复制zookeeper 将zookeeper复制到服务器192.168.212.102，192.168.212.103 并将myid修改对应的值 4.启动zookeeper 启动3台机器，命令：bash /usr/local/zookeeper/bin/zkServer.sh start 5.查看状态 bash /usr/local/zookeeper/bin/zkServer.sh status

前言：最近在给公司搞kafka和zookeeper容器化结合rancher的项目，查阅了相关官网和书籍，发现如果和公司的标准化关联比较牵强，原因有很多，我简单谈一下我最后选择自定义的原因：（因是个人本地二进制部署k8s+kakfa测试的，因此生产需要自己配置所需要的内存和cpu，动态持久化存储等） 1、使用官网dockfile不能自定义jdk。 2、dockerfile和yaml关联比较牵强，每个人有每个人的思路。 3、不能和公司之前物理机部署标准化文档相结合。 ..... 下面，我将花了半个月研究的部署分享一，有兴趣者可加好友共同探讨： https://github.com/renzhiyuan6666666/kubernetes-docker 一、 zookeeper集群部署 1.1） zookeeper文件清单 2. 1.2） zookeeper文件清单详解 1.2.1）oracle jdk软件包  jdk-8u151-linux-x64.tar.gz 底层使用centos6.6镜像，部署目录到app目录下，在dockerfile里面配置环境变量。 1.2.2）zookeeper软件包  zookeeper-3.4.12.tar.gz 底层使用centos6.6镜像，部署目录到app目录下 1.2.3）zookeeper Dockerfile #设置继承镜像 FROM

目录 简述 zookeeper安装 zookeeper启动原理 hadoop HA参照： https://blog.csdn.net/qq_36632174/article/details/79794754 简述 zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠 协调 系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 zookeeper重在协调，是分布式服务的一个基础；要构建hadoop离线分析，首先要安装zookeeper。 zookeeper安装 安装包：zookeeper-3.4.11.tar.gz 选择版本：zookeeper--release 3.4.11，修复了53个问题，支持Java9，2017-11月9日发布 1)zookeeper安装包放到：/usr/software/zookeeper-3.4.11.tar.gz目录下，解压： tar -zxvf zookeeper-3.4.11.tar.gz cd zookeeper-3.4.11/conf 拷贝 cp zoo_sample.cfg 改名成 zoo.cfg cp -r zoo_sample.cfg zoo.cfg 2)创建data目录：the