zookeeper命令

Zookeeper分布式集群安装与配置(CentOS6)

六眼飞鱼酱① 提交于 2019-11-29 19:24:21
Zk是一个分布式服务框架,提供了协调分布式应用的基本服务,zk集群主要是保证服务的可靠性和稳定性,介绍一下集群的安装与配置,在安装之前需要安装好jdk,jdk的安装请网上查找相应的方法 Dubbo 注册中心集群Zookeeper-3.4.6 Dubbo建议使用Zookeeper作为服务的注册中心。 Zookeeper集群中只要有过半的节点是正常的情况下,那么整个集群对外就是可用的。正是基于这个特性,要将ZK集群的节点数量要为奇数(2n+1:如3、5、7个节点)较为合适。 ZooKeeper 与Dubbo服务集群架构图 服务器1:192.168.1.81 端口:2181、2881、3881 服务器2:192.168.1.82 端口:2182、2882、3882 服务器3:192.168.1.83 端口:2183、2883、3883 1、 修改操作系统的/etc/hosts文件,添加IP与主机名映射: # zookeeper clusterservers 192.168.1.81 edu-zk-01 192.168.1.82 edu-zk-02 192.168.1.83 edu-zk-03 2、 下载或上传zookeeper-3.4.6.tar.gz到/home/wusc/zookeeper目录: $ cd /home/wusc/zookeeper $ wget http:/

ZooKeeper入门

别等时光非礼了梦想. 提交于 2019-11-29 17:20:14
ZooKeeper入门指导 入门:在分布式协同系统中使用ZooKeeper 这篇文档包含的内容可以让你快速开始使用ZooKeeper。它主要针对希望尝试它的开发者,文档包含着在单台ZooKeeper服务器上的安装指导,也有一些验证ZooKeeper在运行的简单的命令,还有一些简单的编码案例。最后,为了方便,还有一部分内容是关于更复杂的安装,例如,运行复制部署,并优化事务日志。不过,关于完整的商业环境部署,请参考 ZooKeeper管理员指导 。 先决条件 请查看管理员指导中的 系统要求 。 下载 为了得到一个分布式ZooKeeper,请从 Apache下载镜像 之一下载最新稳定版。 独立操作 以独立模式设置一个ZooKeeper服务器是非常简单的。服务器包含在一个单独的jar文件里,所以需要创建一个配置文件来开始安装。 当你下载完成一个稳定版ZooKeeper后,解压并进入到它的根目录。 运行ZooKeeper需要一个配置文件,这里有一个案例,文件要包含在conf目录下,命名为zoo.cfg。 tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181 这个文件可以被称为为任何名字,但是为了不必要的讨论我们叫它conf/zoo.cfg。改变dataDir字段的值来指定一个存在的(空的)文件夹。这里是每一个字段的含义。

分布式服务协调员zookeeper - 应用场景和监控

两盒软妹~` 提交于 2019-11-29 17:16:18
https://www.cnblogs.com/bangerlee/p/4427331.html zookeeper在分布式系统中作为协调员的角色,可应用于Leader选举、分布式锁、配置管理等服务的实现。以下我们从zookeeper提供的API、应用场景和监控三方面学习和了解zookeeper(以下简称ZK)。 ZK API ZK以Unix文件系统树结构的形式管理存储的数据,图示如下: 其中每个树节点被称为znode,每个znode类似一个文件,包含文件元信息(meta data)和数据。 以下我们用server表示ZK服务的提供方,client表示ZK服务的使用方,当client连接ZK时,相应创建session会话信息。 有两种类型的znode: Regular: 该类型znode只能由client端显式创建或删除 Ephemeral: client端可创建或删除该类型znode;当session终止时,ZK亦会删除该类型znode znode创建时还可以被打上sequential标志,被打上该标志的znode,将自行加上自增的数字后缀 ZK提供了以下API,供client操作znode和znode中存储的数据: create(path, data, flags):创建路径为path的znode,在其中存储data[]数据,flags可设置为Regular或Ephemeral

如何在Mac上安装zookeeper

家住魔仙堡 提交于 2019-11-29 13:24:37
1、使用mac电脑打开终端命令行工具 2、安装,在命令行中输入brew install zookeeper 3、完成以后,可以在/usr/local/etc/zookeeper目录下面看到默认的配置文件 4、启动zookeeper,在命令行中执行命令zkServer start来启动zookeeper 5、查看zookeeper运行状态,在命令行中输入zkCli,可以查看zookeeper运行状态。 来源: https://blog.csdn.net/LINBE_blazers/article/details/100822605

大数据系列之协同服务Zookeeper知识整理(二)Zookeeper上的数据操作,使用JAVA API来访问Zookeeper

白昼怎懂夜的黑 提交于 2019-11-29 12:22:29
1.Zookeeper上的数据操作 上一篇中我们介绍了zk是什么,以及zk的工作流程。既然zk是协调服务的,那必然会存储一些节点的信息,比附说Hadoop高可用集群HA的活跃NameNode信息,活跃ResourceManager信息(后面会介绍配置HA),Kafka的消息对了等等一些分布式节点信息,那这些基本信息是存储在zk哪里的,以及格式是什么样子? 启动zk的客户端与服务器 $>bin/zkServer.sh start $>zkCli.sh -server s10:2181 //进入zk命令行 我们在客户端使用help来查看一下帮助,看看zk有哪些命令 $zk]help //查看帮助 我们看到有一个create命令,这个就是用来创建数据的,根据提供的格式,我们可以看到格式是create path data,说明了zk在创建数据的时候是创建了一个 目录,目录上有数据啊,这点特别重要,这就是zk上的数据格式。zk上存放的数据格式是:目录 数据。也就是创建的每一个目录都有值,我们试着创建一下: 我们看到最后一个创建的 目录 是 /a/a1,但在创建之前目录/a必须存在,只能先创建父节点,再创建子节点,并且每次在创建的时候必须给予值,否则不会创建成功。创建完成之后我们ls /查看一下 不给值,创建不成功 看到都是一层层的 目录 使用 get 目录 来获得这个 目录的值 注意

CentOS7.5.1804 Minimal安装zookeeper-3.4.13(单机版)

拜拜、爱过 提交于 2019-11-29 11:57:55
因只供自学,故后面的操作都是用root用户进行的 一、下载 官网下载地址: http://mirrors.hust.edu.cn/apache/zookeeper/ 选择最新的版本进行下载 这里选择3.4.13进行下载: [root@oracle /]# cd /usr/local/src [root@oracle src]# ll [root@oracle src]$ wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz --no-check-certificate 二、解压 下载完成后执行以下命令进行解压: [root@oracle src]# tar -zxvf zookeeper-3.4.13.tar.gz 将文件夹 /usr/local/src/zookeeper-3.4.13移到 /usr/local/zookeeper中 [root@oracle src]# mv /usr/local/src/zookeeper-3.4.13 /usr/local/zookeeper [root@oracle src]# cd /usr/local/zookeeper [root@oracle zookeeper]# ll 三、配置Zookeeper 解压之后

ZooKeeper安装配置

半城伤御伤魂 提交于 2019-11-29 09:12:24
一、Zookeeper的搭建方式 Zookeeper安装方式有三种, 单机模式 和 集群模式 以及 伪集群模式 。 ■ 单机模式 :Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式 :就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式 :Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现高可用性,只要集合体中半数以上的机器处于可用状态,它就能够保证服务继续。 为什么一定要超过半数呢 ?这跟 Zookeeper的复制策略 有关:zookeeper确保对znode 树的每一个修改都会被复制到集合体中超过半数的机器上。 1.1 Zookeeper的单机模式搭建 下载 ZooKeeper: http://pan.baidu.com/s/1pJlwbR9 解压 : tar -zxvf zookeeper-3.4.5.tar.gz 重命名 : mv zookeeper-3.4.5 zk 配置文件 :在conf目录下删除 zoo_sample.cfg 文件,创建一个配置文件zoo.cfg。 tickTime =2000 dataDir =/usr/local/zk/data dataLogDir =/usr/local/zk/dataLog clientPort

ZooKeeper启动占用8080端口

匆匆过客 提交于 2019-11-29 06:52:14
下载 下载地址 zookeeper ,建议下载 bin 结尾的tar包。 在 readme.md 中可以看到 apache-zookeeper-[version].tar.gz Contains all the source files which can be built by running: mvn clean install To generate an aggregated apidocs for zookeeper-server and zookeeper-jute: mvn javadoc:aggregate (generated files will be at target/site/apidocs) apache-zookeeper-[version]-bin.tar.gz Contains all the jar files required to run ZooKeeper Full documentation can also be found in the docs folder 不以 bin 结尾的需要 mvn clean install,我试过这个 tar 包,麻烦... 单机安装 解压 tar 包 进入 zookeeper 目录,建立 data 文件夹 进入conf,修改 配置文件 初始的配置文件是 zoo_sample.cfg,zookeeper

ZooKeeper伪分布式集群安装及使用

拈花ヽ惹草 提交于 2019-11-29 06:21:29
ZooKeeper伪分布式集群安装及使用 让Hadoop跑在云端系列文章 ,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务。 现在硬件越来越便宜,一台非品牌服务器,2颗24核CPU,配48G内存,2T的硬盘,已经降到2万块人民币以下了。这种配置如果简单地放几个web应用,显然是奢侈的浪费。就算是用来实现单节点的hadoop,对计算资源浪费也是非常高的。对于这么高性能的计算机,如何有效利用计算资源,就成为成本控制的一项重要议题了。 通过虚拟化技术,我们可以将一台服务器,拆分成12台VPS,每台2核CPU,4G内存,40G硬盘,并且支持资源重新分配。多么伟大的技术啊!现在我们有了12个节点的hadoop集群, 让Hadoop跑在云端,让世界加速。 关于作者: 张丹(Conan), 程序员Java,R,PHP,Javascript weibo:@Conan_Z blog: http://blog.fens.me email: bsspirit @gmail.com 转载请注明出处: http://blog.fens.me/hadoop-zookeeper-intro/ 前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中,系统协作大都是进程级的操作。分布式系统中,服务协作都是跨服务器才能完成的

9.hbase相关进程作用

陌路散爱 提交于 2019-11-29 04:43:17
1、协调服务组件Zookeeper Zookeeper的作用如下: 1. 保证任何时候,集群中只有一个HMaster; 2. 存储所有的HRegion的寻址入口; 3. 实时监控HRegionServer的上线和下线信息,并实时通知给HMaster; 4. 存储HBase的schema和table元数据; 5. Zookeeper Quorum存储-ROOT-表地址、HMaster地址。 2、主节点HMaster HMaster的主要功能如下: 1. HMaster没有单节点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master在运行,主要负责Table和Region的管理工作。 2. 管理用户对表的增删改查操作;DML 3. 管理HRegionServer的负载均衡,调整Region分布(在命令行里面有一个tools,tools这个分组命令其实全部都是Master做的事情); 4. Region Split后,负责新Region的分布; 5. 在HRegionServer停机后, 负责失效HRegionServer上Region迁移工作。 3、Region节点HRegionServer HRegionServer的功能如下: 1. 维护HRegion,处理HRegion的IO请求