zookeeper命令

kafka知识总结 //切换到安装路径命令 cd /home/kafka/kafka_2.11-0.10.2.1/bin //启动kafka服务，三台主机分别输入此指令： ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //以后台的方式启动 nohup ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //查看topic名 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181,10.101.22.42:2181,10.101.22.43:2181 //查询topic内容 ./kafka-console-consumer.sh --bootstrap-server 10.101.22.41:9092,10.101.22.42:9093,10.101.22.43:9094 --topic oth_cpd_active_realtime_data --from-beginning //查看某个Topic的详情 ./kafka-topics.sh --topic oth

公众号原文： Zookeeper 分布式协调服务介绍 博客原文： Zookeeper 分布式协调服务介绍 分布式系统 分布式系统的简单定义：分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。 分布式系统的特征： 分布性：系统中的计算机在空间上随意分布和随时变动 对等性：系统中的计算机是对等的，没有主从之分 并发性：并发性操作是非常常见的行为 缺乏全局时钟：系统中的计算机具有明显的分布性，且缺乏一个全局的时钟序列控制，所以很难比较两个事件的先后 故障总是会发生：任何在设计阶段考虑到的异常情况，一定会在系统实际运行中发生，并且还会遇到很多在设计时未考虑到的异常故障 随着分布式架构的出现，越来越多的分布式应用会面临数据一致性问题。 选择Zookeeper Zookeeper是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、master选举、分布式锁和分布式队列等功能。 Zookeeper致力于提供一个高性能、高可用，具有严格的顺序访问控制能力的分布式协调服务；其主要的设计目标是简单的数据模型、可以构建集群、顺序访问、高性能。Zookeeper已经成为很多大型分布式项目譬如Hadoop、HBase、Storm、Solr等中的核心组件，用于分布式协调。

什么是 zookeeper? Zookeeper 是google的chubby一个开源实现，是hadoop的分布式协调服务 它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 在Hbase中会用到。 Zk(zookeeper简称)可以用来保证数据在zk集群之间的数据的事物性一致。 Zk默认数据2M以下。 zookeeper架构图 如何搭建Zookeeper服务器集群 zk服务器集群规模不小于3节点，要求服务器之间系统时间要保持一致。 将下载的zookeeper复制到/usr/local 里，解压： tar –zxvf zookeeper- 3.4 .5 .tar .gz 重命名： mv zookeeper- 3.4 .5 .tar .gz zk 在hadoop的/usr/local目录下，解压缩zk….tar.gz，设置环境变量 设置环境变量： 加入： export ZOOKEEPER_HOME=/usr/local/zk 在PATH 后面追加： : $ZOOKEEPER_HOME /bin 使环境变量生效： source /etc/profile 在conf目录下，修改文件 mv zoo_sample .cfg zoo .cfg [root@hadoop zk] # cd conf [root@hadoop conf] # ls

1.zookeeper简介 1.1简介 Zookeeper是一个分布式协调服务，换言之，就是为用户的分布式应用程序提供协调服务 - zookeeper是为别的分布式程序服务的 - Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） - Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务 - 虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能（管理数据和监听数据）： 管理(存储，读取)用户程序提交的数据； 并为用户程序提供数据节点监听服务； 1.2 Zookeeper集群的角色： Leader 和 follower Zookeeper在配置文件中并没有指定master和slave，启动之后通过内部的选举机制选举出leader和follower，而且只有一个leader，其他则为follower。zookeeper集群中只要有半数以上节点存活，集群就能提供服务。 2.zookeeper集群机制 半数机制：集群中半数以上机器存活，集群可用。 zookeeper适合装在奇数台机器上！！！ 2.zookeeper安装与配置 2.1zookeeper安装 安装到3台虚拟机上（需要提前安装好JDK） 将zookeeper压缩包上传至/apps/package目录并解压 tar

zookeeper 中间件，提供协调服务 作用分布式系统 特性 数据一致性，数据按照顺序分批入库 原子性：事务要么成功要么失败，不会局部化 单一视图：客户端连接集群中的任一zk节点，数据是一致的。 可靠性 每次对zk的操作状态保存在服务端 实时性 客户端可以读取zk服务端的最新数据 jdk 与 zookeeper 的安装 cd jdk8 pwd /usr/jdk8 vi /etc/profile 1 export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL 2 export JAVA_HOME=/usr/jdk8 3 export ZOOKEEPER_HOME=/usr/local/zookeeper 4 export CLASSPATH=.:JAVA_HOME%lib/dt.jar:%JAVA_HOME%/lib/tools.jar 5 #export PATH=$PATH:$JAVA_HOME/bin 6 export PATH=$PATH:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin 刷新配置文件 source /etc/profile 目录结构 bin 主要运行命令 conf 存放配置文件 contrib 附加一些功能 dist-maven mvn编译后的目录 docs 文档 lib

Redis数据量日益增大，使用的公司越来越多，不仅用于做缓存，同时趋向于存储这一块，这样必促使集群的发展，各个公司也在收集适合自己的集群方案，目前行业用的比较多的是下面几种集群架构，大部分都是采用分片技术，保证单实例内存增大带来的一系列问题，下面所列出的codis方案目前正在不断测试过程中，测试过程没有展示出来，主要从以下几点出发。 测试架构 和性能 ： 　　1、keepalived+haproxy故障测试 　　2、Zookeeper集群节点测试 　　3、Codis-proxy集群节点测试 　　4、Codis-server集群节点测试 　　5、脚本写入大量测试数据并模拟数据迁移 　　6、性能测试 下面具体介绍codis和其他几大集群方案 集群方案： 　　1、 主从高可用（该方案就是单实例形式，只是为了保证数据的安全，对于用户数据少，业务的前期可以采用，目前我司缓存架构就是采用该方案） 　　2、 客户端分片（典型代表：Jedis。自主写分片算法，代码掌握在自己手中，可控性强，但是需要专业的开发运维人员维护，技术要求和维护成本高） 　　3、代理分片（典型代表：Twemproxy，redis集群没有正式推出之前官网推荐的方案，也是目前使用最多的） 　　4、 Redis cluster（3版本推出的集群方案，历时四年之多的开发） 　　5、 Codis集群（豌豆荚15年开源的解决方案

参考地址： https://www.jianshu.com/p/d0e630c8f4ae 一、下载 kafka 二进制安装包 下载地址： http://kafka.apache.org/downloads 二、上传 kafka 压缩包到虚拟机中并解压到指定文件夹 tar -xzf kafka_2.11-2.3.0.tgz 三、启动 kafka 服务 kafka需要使用Zookeeper，首先需要启动Zookeeper服务，如果没有的话，可以使用kafka自带的脚本启动一个简单的单一节点Zookeeper实例： bin/zookeeper-server-start.sh config/zookeeper.properties & 如果已经启动了 zookeeper，则直接运行下面的命令： bin/kafka-server-start.sh config/server.properties & 停止 kafka 服务则运行下面命令： bin/kafka-server-stop.sh config/server.properties 四、kafka 简单使用 4.1、创建一个主题 首先创建一个名为test的topic，只使用单个分区和一个复本 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication

ubbo管理控制台安装及集成zookeeper集群部署 dubbo管理控制台开源部分主要包含：路由规则，动态配置，服务降级，访问控制，权重调整，负载均衡，等管理功能。 1、下载dubbo 地址： http://code.alibabatech.com/mvn/releases/com/alibaba/dubbo-admin/2.4.1/dubbo-admin-2.4.1.war 本人将tomcat安装在/opt/目录下，先删除tomcat/webapps下自带的ROOT文件夹，将下载的war包解压到webapps/ROOT，命令如下： [plain] view plaincopy unzip dubbo-admin-2.4.1.war -d /opt/apache-tomcat-6.0.37/webapps/ROOT 配置: (或将dubbo.properties放在当前用户目录下) [plain] view plaincopy vim webapps/ROOT/WEB-INF/dubbo.properties 配置信息如下： dubbo.registry.address= zookeeper://127.0.0.1:2181 dubbo.admin.root.password=root dubbo.admin.guest.password=guest

单机模式： 1：修改hosts文件 ​ 2：下载解压zookeeper.tar文件 3：创建data目录和logs目录 进入zookeeper目录下创建 ​ 4：复制一份zoo_sample.cfg配置文件并改名为zoo.cfg 在conf目录下 ​ 5：修改配置文件zoo.cfg ​ 6：创建myid 在data目录下新增myid文件，并新增值为1 ​ 7：jdk安装略 8：启动zookeeper bin/zkServer.sh start 分布式： 1、修改hosts文件(三个主机) ​ 2、修改主机名(三个主机) storm1如下图： ​ storm2： HOSTNAME=storm2 storm3： HOSTNAME=storm3 3、Jdk安装(三个主机) （略） 4、上传zookeeper文件并解压到/opt目录下(三个主机) （略） 5、配置zookeeper(三个主机) ①首先将zookeeper/conf/zoo_sample.cfg文件复制一份，并更名为zoo.cfg 如下图所示： ​ ②编辑zoo.cfg文件 把dataDir=/tmp/zookeeper删掉，并新增下图数据 ​ ③创建目录 这两个目录是zoo.cfg上面写的目录 mkdir -p /var/zookeeper/zkdata mkdir -p /var/zookeeper/zkdatalog

（一）Zookeeper集群组成结构 Zookeeper由 leader(领导者) 和 learner(学习者) 组成，其中 learner由follower(跟随者)和observer(观察者) 组成。在一个zookeeper集群中， 一般是一个leader节点，多个follower节点 ，observer节点可选。在一个正式的zookeeper环境中，一般由 2n+1（奇数） 台servers组成，主要是为了保证learder的选举能够得到大多数的支持，也就是说 只要n+1台机器支持，那么就可以保证集群的可用性。 （二）Zookeeper角色的作用 1. 领导者(leader)，负责进行投票的发起和决议，更新系统状态 2. 学习者(learner)，包括跟随者（follower）和观察者（observer）。 3. Follower用于 接受客户端请求并向客户端返回结果，在选主过程中参与投票 4. Observer可以 接受客户端请求，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度 。 5. 客户端(client)，请求发起方 （三）Zookeeper读写过程 1. client端连接上zookeeper集群的任何一台机器就可以了 2. 进行 读操作的时候