zookeeper命令

Zookeeper安装手册

匿名 (未验证) 提交于 2019-12-03 00:37:01
本次集群安装的zookeeper版本为3.4.10,按照如下步骤进行安装。 Java版本为1.8,相关安装细节不在赘述,参考《JDK1.8安装搭建手册》。 Tar xvf * .tar .gz Export 配置系统的环境变量,并Source生效。 设置ssh的免密登录,并关闭zookeeper集群中每台机器的防火墙。 启动每台机器的zookeeper: zkServer.sh start 查看每台机器的zookeeper状态: zkServer .sh status 有如上信息即为运行正常。 7 ֹͣzookeeper 如果停止zookeeper,运行命令如下: zkServer.sh stop https://blog.csdn.net/wangxiaotongfan/article/category/6140063 文章来源: Zookeeper安装手册

查看zookeeper的二进制日志文件

匿名 (未验证) 提交于 2019-12-03 00:36:02
今天查看文件时,发现几个日志文件,在Finder中查看时,发现是zookeeper的日志文件。用sublime text打开发现这些日志文件都是二进制数据,那该如何查看内容呢? 方法一: 使用命令行 java -cp /usr/local/Cellar/zookeeper/3.4.10/libexec/zookeeper-3.4.10.jar : /usr/local/Cellar/zookeeper/3.4.10/libexec/lib/slf4j-api-1.6.1.jar org.apache.zookeeper.server.LogFormatter /Users/newbie/Documents/zookeeper/logs3/version-2/log.1000000001 主要三个部分,两个jar包(zookeeper.jar, slf4j-api.jar),一个类文件(LogFormatter),一个日志文件(log.1000000001) ע: 两个jar包,可通过find / -name zookeeper*.jar (find / -name slf4j-api*.jar)在本地查找,然后替换到上面的命令中 在编辑器中写个main方法,运行代码 添加依赖 <dependency> <groupId>org.apache.zookeeper</groupId>

Zookeeper实际操作配置参数详解

匿名 (未验证) 提交于 2019-12-03 00:26:01
这一篇将Zookeeper的实际操作总结出来。 下载Zookeeper: Zookeeper 1.Windows安装Zookeeper 1.1 下载安装 解压到合适目录,修改conf中配置文件。 将Conf中的zoo_sample.cfg复制一份更名为zoo.cfg(也可以直接修改) 1.2 修改zoo.cfg参数 基础配置: 参数 详解 clientPort 配置当前服务器对外的服务端口,客户端会通过该端口和zookeeper服务器创建链接一般为2181,每台zookeeper服务器都可以配置任意可用端口,同时集群中的所有服务器不需要保持clientport端口的一直 dataDir zookeeper服务器存储快照文件的目录 tickTime 用于配置zookeeper中最小时间单元的长度,很多运行时的时间间隔都是使用tickTime的倍数来表示的 例如initLimit=10就是tickTime的十倍等于2W毫秒 高级配置: 参数 详解 dataLogDir 用于配置zookeeper服务器存储事务日志文件的目录,默认情况会将事务日志文件和快照数据存储在同一个目录中,尽量将两个目录分开如果条件允许,可以将事务日志的存储配置在一个单独的磁盘上,事务日志的记录对磁盘的性能要求非常高

如何在Mac上安装zookeeper

匿名 (未验证) 提交于 2019-12-03 00:05:01
1、使用mac电脑打开终端命令行工具 2、安装,在命令行中输入brew install zookeeper 3、完成以后,可以在/usr/local/etc/zookeeper目录下面看到默认的配置文件 4、启动zookeeper,在命令行中执行命令zkServer start来启动zookeeper 5、查看zookeeper运行状态,在命令行中输入zkCli,可以查看zookeeper运行状态。 来源:51CTO 作者: 拾荒路上的开拓者 链接:https://blog.csdn.net/LINBE_blazers/article/details/100822605

CentOS7.5.1804 Minimal安装zookeeper-3.4.13(单机版)

匿名 (未验证) 提交于 2019-12-03 00:03:02
因只供自学,故后面的操作都是用root用户进行的 一、下载 官网下载地址: http://mirrors.hust.edu.cn/apache/zookeeper/ 选择最新的版本进行下载 这里选择3.4.13进行下载: [root@oracle /]# cd /usr/local/src [root@oracle src]# ll [root@oracle src]$ wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz --no-check-certificate 二、解压 下载完成后执行以下命令进行解压: [root@oracle src]# tar -zxvf zookeeper-3.4.13.tar.gz 将文件夹 /usr/local/src/zookeeper-3.4.13移到 /usr/local/zookeeper中 [root@oracle src]# mv /usr/local/src/zookeeper-3.4.13 /usr/local/zookeeper [root@oracle src]# cd /usr/local/zookeeper [root@oracle zookeeper]# ll 三、配置Zookeeper 解压之后

windows环境下安装运行kafka

匿名 (未验证) 提交于 2019-12-03 00:02:01
1、安装jdk1.8 2、安装ZooKeeper 1、 下载安装包(附带链接) 2、 解压并进入ZooKeeper目录,笔者:D:\Kafka\zookeeper-3.4.9\conf 3、 将“zoo_sample.cfg”重命名为“zoo.cfg” 4、 打开“zoo.cfg”找到并编辑dataDir=D:\Kafka\zookeeper-3.4.9\data 5、 添加系统变量:ZOOKEEPER_HOME=D:\Kafka\zookeeper-3.4.9 6、 编辑path系统变量,添加路径:%ZOOKEEPER_HOME%\bin 7、 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181) 8、 打开新的cmd,输入“zkServer“,运行Zookeeper 9、 命令行提示如下:说明本地Zookeeper启动成功 注意:不要关了这个窗口 三、安装Kafka 1、 下载安装包(见附带链接 2、 解压并进入Kafka目录,笔者:D:\Kafka\kafka_2.12-0.11.0.0 3、 进入config目录找到文件server.properties并打开 4、 找到并编辑log.dirs=D:\Kafka\kafka_2.12-0.11.0.0\kafka-logs 5、 找到并编辑zookeeper.connect=localhost:2181

filebeat+elk+zookeeper启动命令

匿名 (未验证) 提交于 2019-12-02 23:57:01
./filebeat setup --dashboards curl -X GET "10.0.6.114:9200/_cat/indices?v" 启动filebeat cd /opt/filebeat-6.5.4-linux-x86_64 ./filebeat -e -c filebeat.yml & 启动kafka cd /opt/kafka_2.11-2.1.0/bin ./kafka-server-start.sh ../config/server.properties & 启动zookeeper cd /opt/kafka_2.11-2.1.0 ./bin/zookeeper-server-start.sh ./config/zookeeper.properties & 生成一个topic bin/kafka-topics.sh --create --zookeeper 10.0.6.25:2181 --replication-factor 1 --partitions 1 --topic elk 查看topic bin/kafka-topics.sh --list --zookeeper 10.0.6.25:2181 来源:博客园 作者: frantzz 链接:https://www.cnblogs.com/frantz/p/11462470.html

9.hbase相关进程作用

匿名 (未验证) 提交于 2019-12-02 23:57:01
1、协调服务组件Zookeeper Zookeeper的作用如下: 1. 保证任何时候,集群中只有一个HMaster; 2. 存储所有的HRegion的寻址入口; 3. 实时监控HRegionServer的上线和下线信息,并实时通知给HMaster; 4. 存储HBase的schema和table元数据; 5. Zookeeper Quorum存储-ROOT-表地址、HMaster地址。 2、主节点HMaster HMaster的主要功能如下: 1. HMaster没有单节点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master在运行,主要负责Table和Region的管理工作。 2. 管理用户对表的增删改查操作;DML 3. 管理HRegionServer的负载均衡,调整Region分布(在命令行里面有一个tools,tools这个分组命令其实全部都是Master做的事情); 4. Region Split后,负责新Region的分布; 5. 在HRegionServer停机后, 负责失效HRegionServer上Region迁移工作。 3、Region节点HRegionServer HRegionServer的功能如下: 1. 维护HRegion,处理HRegion的IO请求

【Zookeeper】分布式环境搭建

匿名 (未验证) 提交于 2019-12-02 23:57:01
本文以三台机器为例,分别为bigdata111,bigdata112,bigdata113三台机器,先部署bigdata111机器,然后通过scp分发配置方式配置其他两台机器; 利用rz命令,上传zookeeper的gz包到/opt/soft/文件夹下。 [root@bigdata111 soft]# rz [root@bigdata111 soft]# ls hadoop-2.8.4.tar.gz jdk-8u144-linux-x64.tar.gz zookeeper-3.4.10.tar.gz 通过tar命令解压zookeeper到/opt/module/目录下。 [root@bigdata111 soft]# tar -zvxf zookeeper-3.4.10.tar.gz -C /opt/module/ [root@bigdata111 soft]# cd /opt/module/ [root@bigdata111 module]# ls hadoop-2.8.4 jdk1.8.0_144 zookeeper-3.4.10 在zookeeper的解压目录下新建zkData文件夹,用于数据文件目录+数据持久化路径。 [root@bigdata111 module]# cd zookeeper-3.4.10/ [root@bigdata111 zookeeper-3.4

Zookeeper

匿名 (未验证) 提交于 2019-12-02 23:52:01
一 Zookeeper 1.1 ZookeeperApacheHadoop Hbase 1.2 1 Zookeeper leader follower 2 Leader 。 3 Follower Leader 。 4奇数台服务器Zookeeper 5 server client server 6 client 7 8 client 1.3 ZooKeeper Unix ZNode ZNode 1MB ԪZNode 1.4 统一命名、统一软 1.4.1 1.4.2 ͳһ 1 hadoop集群 2ZK 1 ZK Z node 2 Z Node 3 Z nodeZK 1.4.3 ͳһ Zk ZNode Znode可获取它的实时状态变化 Master 1.4.4 1.4.5 软负载均衡 1.5 1 https://zookeeper.apache.org/ 2 Zookeeper 2.1 1 1 jdk 2上传zookeeper linux 3 tar [itstar@bigdata111 software]$ chmod u+x zookeeper-3.4.10.tar.gz 4 [itstar@bigdata111 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 5 [root@bigdata111