kafka命令

1. 安装Kafka 1. 下载JDK 、kafka(自带Zookeeper) http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz 下载 ，解压到 D:\STS_ENV\kafka_2.11-1.0.0 （执行 bin 下的脚本，此处使用 windows 所以使用 windows/ 下的 bat 脚本） 2. 下载 SecureCRT 连接 查看服务器系统版本 cat /proc/version [root@T-mysql ~]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 7.4 (Maipo) 1. 安装jdk 1.8.0_121 ： =》上传到/opt目录 =》解压jdk （ tar-zxvf jdk-8u121-linux-x64.tar ） =》配置环境变量：vi /etc/profile添 加如下参数： export JAVA_HOME=/opt/jdk1.8.0_121 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar =》生效 source/etc

1. 下载kafka，地址：http://kafka.apache.org/downloads.html 从上面可以看出，分为源码包和二进制包，我们下载二进制包，这两个选其中一个就可以，在这里我们选择下载：kafka_2.12-0.11.0.1.tgz 2. 解压二进制包 tar xf kafka_2.12-0.11.0.1.tgz 解压之后出现的目录结构如下： kafka +-bin +-windows +-config +-libs +-logs +-site-docs 3. 配置文件, 切换到kafka_2.12-0.11.0.1目录中，执行以下命令： sh bin/zookeeper-server-start.sh config/zookeeper.properties 如果执行上面的命令，throws下面的error: 错误: 找不到或无法加载主类 config.zookeeper.properties 极有可能你下载的是source源代码包，如果出现上面问题，建议重新下载二进制包，请参照步骤1 来源： CSDN 作者： Java-Basketball 链接： https://blog.csdn.net/superdangbo/article/details/78316968

Kafka并没有使用Eureka作为注册中心，必须使用 ZooKeeper ，好在Kafka安装包自带了 ZooKeeper ，只需下载Kafka就好了 下载 Apache Kafka Kafka 快速入门 环境安装 下载Kafka并解压后可以看到目录结构如下： kafka +- bin +- windows +- config +- libs +- logs +- site -docs 因为 Kafka 是依赖 ZooKeeper 的，所以在 bin 和 config 目录下除了Kafka相关的内容还存在ZooKeeper 相关的内容。 bin 目录存放了 Kafka 和 ZooKeeper 的命令行工具，其中根目录是适用于 Linux/UNIX 的shell， bin/windows 下则存放的适用于 Windows 的bat。 config 目录则存放了 Kafka 和 ZooKeeper的配置信息。 启动测试 启动 ZooKeeper，执行命令 zookeeper-server-start config/zookeeper.properties ，该命令需要指定 ZooKeeper 的配置文件位置才能正确启动，Kafka 的压缩包中包含了其默认配置，开发和测试环境无需修改。 启动 Kafka，执行命令 kafka-server-start config/server

转载自 https://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 3、Kafka和其他主流分布式消息系统的对比 定义解释： 1、Java 和 scala都是运行在JVM上的语言。 2、erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议

docker kafka 单节点 宿主机IP: 192.168.43.177 1.下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 在命令中运行docker images验证两个镜像已经安装完毕 2.启动 启动zookeeper容器 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 启动kafka容器 docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.43.177:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.43.177:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka 3.进入容器操作： cd /opt/kafka_2.12-2.3.0/bin 创建主题 sh kafka-topics.sh -

Topic级别参数设置： 如果同时设置了topic级别参数和全局broker参数，topic级别参数会覆盖全局broker参数的值，而每个topic都能设置自己的参数值，这就是所谓的topic级别参数。这样做的好处是不同部门的topic根据业务自身需要，设置自己的留存时间。 retention.ms:规定了该topic消息被保存的时长。默认是7天，即该topic只保存最近7天的消息。一旦设置了这个值，它会覆盖掉broker端的全局参数值。 retention.bytes:规定了要为topic预留多大的磁盘空间。和全局参数作用相似，这个值通常在多租户的kafka集群中会有用武之地。当前默认是-1，表示可以无限使用磁盘空间。 max.message.bytes:它决定了kafka broker能够正常接收该消息topic的最大消息大小。 设置topic级别参数方式： 1、创建topic时进行设置 以retention.ms和max.message.bytes举例，可以用以下命令来创建topic bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic transaction --partitions 1 --replication-factor 1 --config retention.ms

、下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 在命令中运行docker images验证两个镜像已经安装完毕 2.启动 启动zookeeper容器 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 启动kafka容器 docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=192.168.59.101 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest 192.168.145.136 改为宿主机器的IP地址，如果不这么设置，可能会导致在别的机器上访问不到kafka。 3. 测试kafka 进入kafka容器的命令行 运行

1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录 2、Kafka 删除topic的命令是： ./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true，那么此时的删除并不是真正的删除，而是把topic标记为：marked for deletion 你可以通过命令：./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic 此时你若想真正删除它，可以如下操作： （1）登录zookeeper客户端：命令：./bin/zookeeper-client （2）找到topic所在的目录：ls /brokers/topics （3）找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。 另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得：ls /admin

用kfafka命令：./kafka-server-start.sh ../config/server.properties &启动时报以下错误： [2016-04-27 21:54:44,745] ERROR [KafkaApi-100] error when handling request Name: TopicMetadataRequest; Version: 0; CorrelationId: 1496; ClientId: producer-1; Topics: Interation,Booksheet (kafka.server.KafkaApis) kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0 at kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:70) at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:155) at kafka.server.KafkaApis[Math Processing Error]anonfun$handleTopicMetadataRequest$2.apply

docker快速安装kafka，zookeeper ，体验spring-boot-demo-mq-kafka Linux先开放以下端口：2181 ，9092 搜索镜像 zookeeper ，kafka https://hub.docker.com/ 1.https://hub.docker.com/_/zookeeper?tab=tags 拉取镜像命令：docker pull zookeeper:3.5.6 2.https://hub.docker.com/r/wurstmeister/kafka/tags 拉取镜像命令：docker pull wurstmeister/kafka:2.12-2.3.0 3.运行zookeeper 命令： docker run --name:zookeeper -p 2181:2181 -d zookeeper:3.5.6 4.运行kafka连接zookeeper命令 docker run -d --name kafka \ -p 9092:9092 \ -e KAFKA_BROKER_ID=0 \ -e KAFKA_ZOOKEEPER_CONNECT=192.168.88.129:2181 \ -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.88.129:9092 \ -e KAFKA