kafka命令

Getting Start 下载 http://kafka.apache.org/ 优点和应用场景 Kafka消息驱动，符合发布-订阅模式，优点和应用范围都共通 发布-订阅模式优点 解耦合 ： 两个应用不需要相互调用 可扩展性 ： 消费者的个数可实时扩展 实时性 ： 消费者能实时的获取生产者发布的事件 高效 ：减少由于多个消费者请求数据造成的数据计算带来的资源消耗 异步通讯 ：发布-订阅模式是天生的异步通讯 Kafka其他优点 持久化 ： 消息丢失的可控性极高 高性能 ： 磁盘顺序读写性能比内存随机读写还高，每秒10万条消息 高吞吐量 ：每秒上百MB的吞吐量 顺序性 发布-订阅模式应用范围 适合数据一被生产，就需要被处理的情况 适合数据具有潜在消费者的情况 适合无论有没有消费者，数据都在生产的情况 不适合对数据的处理时间有特殊限定的情况 应用场景 最为消息中间件，实现消息队列和消息的发布-订阅，消息驱动的服务 数据总线，一对多的模式 日志收集，消息中间件的一种应用 数据库主从同步 核心概念 Broker 一个Kafka server就是一个Broker 一般情况下，一个Broker独占一台服务器，发挥微服务的优势 服务器资源有限的情况下，需要设计出Broker/Topic/Partition/Replica的最优分配策略，从而充分利用服务器资源 一个broker可以有多个topic

背景：因为公司收集终端盒子数据的kafka服务偶尔会倒，所以考虑使用kafka的分布式，增加broker节点，来提高系统的可用性。 当然，zookeeper服务节点也是可以增加的，但不在本文范围内。 具体步骤如下： 1. 新加kafka服务，并启动 如果是同一服务器，则可以拷贝新建server.properties的方式启动，具体 参考官网 如果是不同服务器，则需要下载解压同一版本的kafka，并修改zookeeper的设置，然后启动 这里我用的是第二种方案，下面是server.properties中修改的三个配置 broker.id=1 listeners=PLAINTEXT://192.168.0.43:9093 zookeeper.connect=192.168.0.20:2181 启动命令 nohup /opt/kafka_2.12-2.4.0/bin/kafka-server-start.sh /opt/kafka_2.12-2.4.0/config/server.properties & 相应的停止命令 /opt/kafka_2.12-2.4.0/bin/kafka-server-stop.sh /opt/kafka_2.12-2.4.0/config/server.properties & 2. 重新给Topic分配副本 1）新建json文件increase

本文主要整理了大数据组件服务的启动与关闭命令，主要包括Hadoop,Spark,HBase,Hive,Zookeeper,Storm,Kafka,Flume,Solr,ElasticSearch。 1、Hadoop集群 （ 1 ）启动方式切换到主节点的hadoop安装目录下的sbin目录下a)/start-dfs .sh ./start-yarn .sh （建议使用）b)./start-all .sh （ 2 ）关闭方式a)./stop-dfs .sh ./stop-yarn .sh （建议使用）b)./stop-all .sh 2、Spark集群 切换到主节点的Spark安装目录下的sbin目录下（1）启动方式./ start - all .sh（ 2 ）关闭方式./stop- all .sh 3、HBase集群 （ 1 ）启动方式 先启动Hadoop集群 ，后启动HBASE #cd $HBASE_HOME/bin #./start-hbase.sh （ 2 ）关闭方式 #cd $HBASE_HOME/bin #./stop-hbase.sh （ 3 ）web访问方式Masterhttp: //192.168.2.12:60010/master-status RegionServerhttp: //192.168.2.12:60030/ 4、Hive hadoop必须已经启动

本文主要整理了大数据组件服务的启动与关闭命令，主要包括Hadoop,Spark,HBase,Hive,Zookeeper,Storm,Kafka,Flume,Solr,ElasticSearch。 1、Hadoop集群 （1）启动方式切换到主节点的hadoop安装目录下的sbin目录下a)/start-dfs.sh ./start-yarn.sh （建议使用）b)./start-all.sh（2）关闭方式a)./stop-dfs.sh ./stop-yarn.sh （建议使用）b)./stop-all.sh 2、Spark集群 切换到主节点的Spark安装目录下的sbin目录下（1）启动方式./start-all.sh（2）关闭方式./stop-all.sh 3、HBase集群 （1）启动方式先启动Hadoop集群，后启动HBASE#cd $HBASE_HOME/bin#./start-hbase.sh（2）关闭方式#cd $HBASE_HOME/bin#./stop-hbase.sh（3）web访问方式Masterhttp://192.168.2.12:60010/master-statusRegionServerhttp://192.168.2.12:60030/ 4、Hive hadoop必须已经启动切换到节点的Hive安装目录下的bin目录（1）启动Hive:./hive

在此目录下运行命令 /opt/kafka_2.12-2.2.0/ 启动内置的zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动kafka服务 bin/kafka-server-start.sh config/server.properties 创建topic话题 bin/kafka-topics.sh --create --topic news（话题名） --bootstrap-server 192.168.79.137（Linux ip地址）:9092 -partitions（分区） 3 -replication-factor 1 查看所有topic话题 bin/kafka-topics.sh --list --bootstrap-server 192.168.79.137:9092 查看指定话题的详情 bin/kafka-topics.sh --bootstrap-server 192.168.79.137:9092 --describe --topic news 创建生产者 bin/kafka-console-producer.sh --broker-list 192.168.237.129:9092 --topic news 创建消费者 bin/kafka-console

kafka中如果输入命令报错WARN [AdminClient clientId=adminclient-1] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. 证明你忘了启动kafka 启动命令是 `nohup bin/kafka-server-start.sh config/server.properties 来源： CSDN 作者： 王玉君 链接： https://blog.csdn.net/weixin_45955039/article/details/104107609

Kafka架构图 kafka名词解释 在一套kafka架构中有多个Producer，多个Broker,多个Consumer，每个Producer可以对应多个Topic，每个Consumer只能对应一个ConsumerGroup。 整个Kafka架构对应一个ZK集群，通过ZK管理集群配置，选举Leader，以及在consumer group发生变化时进行rebalance。 名称 解释 Broker 消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群消息中间件处理节点，一个Kafka节点就是一个broker，一个或者多个Broker可以组成一个Kafka集群 Topic 主题，Kafka根据topic对消息进行归类，发布到Kafka集群的每条消息都需要指定一个topic Producer 消息生产者，向Broker发送消息的客户端 Consumer 消息消费者，从Broker读取消息的客户端 ConsumerGroup 每个Consumer属于一个特定的Consumer Group，一条消息可以发送到多个不同的Consumer Group，但是一个Consumer Group中只能有一个Consumer能够消费该消息 Partition 物理上的概念，一个topic可以分为多个partition

英文文档：https://dzone.com/articles/running-apache-kafka-on-windows-os 第一步：安装JDK 百度很多，不赘述 第二步：安装ZooKeeper 1.下载安装文件，我下载的是 zookeeper-3.4.9.tar.gz 2.解压文件，我解压到D:\zookeeper 3.打开D:\zookeeper\conf，把zoo_sample.cfg重命名为zoo.cfg 4.用文本编辑器打开zoo.cfg，把dataDir的值改成"/zookeeper/data" 5.添加到环境变量 ZOOKEEPER_HOME---D:\zookeeper Path---在现有的值后面添加";%ZOOKEEPER_HOME%\bin" 6.运行ZooKeeper，打开cmd命令行，输入zkserver 第三步：安装kafka 1.下载安装文件，我下载的是 kafka_2.11-0.10.0.1.tar.gz 2.解压文件，我解压到D:\kafka 3.打开D:\kafka\config，用文本编辑器打开server.properties，把log.dirs的值改成"D:\kafka\kafka-logs" 4.打开cmd命令行，进入到kafka文件目录，cd /d d:\kafka 5.输入 .\bin\windows\kafka-server

问题1： 使用bat脚本报错： 解决方案： 在配置好kafka的server.properties文件后，cmd进入命令窗口输入命令：.\bin\windows\kafka-server-start.bat config\server.properties提示错误：错误: 找不到或无法加载主类 Files\Java\jdk1.8.0_111\lib;C:\Program 解决方式如下：在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat找到142行为%CLASSPATH%加上双引号 修改前：set COMMAND=%Java% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %* 修改后：set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %* 问题2 当我们使用idea调试启动kafka之后，想要使用kafka-topics.bat创建脚本时候发现报错：

本文转发自 技术世界 ， 原文链接 　 http://www.jasongj.com/2015/01/02/Kafka深度解析 背景介绍 Kafka简介 　　Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输 同时支持离线数据处理和实时数据处理 为什么要用消息系统 解耦 在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 冗余 有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。在被许多消息队列所采用的”插入-获取-删除”范式中，在把一个消息从队列中删除之前，需要你的处理过程明确的指出该消息已经被处理完毕，确保你的数据被安全的保存直到你使用完毕。 扩展性 因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的