kafka命令

一，zookeeper安装： 1，解压到D:\Program Files\zookeeper目录 2，配置conf目录下的zoo.cfg，（从zoo.cfg.template拷贝出来）修改其中两处 dataDir=F:\zookeeper\data #为指定目录即可 dataLogDir=F:\zookeeper\logs #为指定目录即可 3，运行zkServer.cmd 4，启动客户端，cmd 到安装目录bin下 运行命令： 如在：D:\Program Files\zookeeper\zookeeper-3.4.8\bin zkCli.cmd -server 127.0.0.1:2181 输出为：“welcome to zookeeper！“ 二，Kafka安装： 1，kafka解压到 D:\Program Files\kafka_2.12-2.0.0 2，配置安装目录下的config/server.properties文件中的zookeeper.connect 到对应的zookeeper连接信息，本机启动zookeeper的情况下不用修改，默认为：localhost：2181 3，启动kafkaserver ，启动前需要先启动zookeeper。cmd窗口 cd到bin/windows目录下（D:\Program Files\kafka_2.12-2.0.0\bin

添加链接描述@ TOC 一、Kafka简介 1.1 什么是kafka kafka是一个分布式、高吞吐量、高扩展性的消息队列系统。kafka最初是由Linkedin公司开发的，后来在2010年贡献给了Apache基金会，成为了一个开源项目。主要应用在日志收集系统和消息系统，相信大家之前也听说过其他的消息队列中间件，比如RabbitMQ、AcitveMQ，其实kafka就是这么一个东西，也可以叫做KafkaMQ。总之，Kafka比其他消息队列要好一点，优点也比较多，稳定性和效率都比较高，大家都说好，那就是真的好。 1.2 Kafka中的相关概念 在理解Kafka的相关概念之前，我们先来看一张图，这张图基本上包括了Kafka所有的概念，对于我们理解Kafka十分有帮助。 上图中包含了2个Producer（生产者），一个Topic（主题），3个Partition（分区），3个Replica（副本），3个Broker（Kafka实例或节点），一个Consumer Group（消费者组），其中包含3个Consumer（消费者）。下面我们逐一介绍这些概念。 1.2.1 Producer（生产者） 生产者，顾名思义，就是生产东西的，也就是发送消息的，生产者每发送一个条消息必须有一个Topic（主题），也可以说是消息的类别，生产者源源不断的向kafka服务器发送消息。 1.2.2 Topic（主题）

> 本文由 JavaGuide 读者推荐，JavaGuide 对文章进行了整理排版！原文地址：https://www.wmyskxz.com/2019/07/17/kafka-ru-men-jiu-zhe-yi-pian/ ， 作者：我没有三颗心脏。 # 一、Kafka 简介 ------ ## Kafka 创建背景 **Kafka** 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被[多家不同类型的公司](https://cwiki.apache.org/confluence/display/KAFKA/Powered+By) 作为多种类型的数据管道和消息系统使用。 **活动流数据**是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page View）、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件，然后周期性地对这些文件进行统计分析。**运营数据**指的是服务器的性能数据（CPU、IO 使用率、请求时间、服务日志等等数据)。运营数据的统计方法种类繁多。 近年来，活动和运营数据处理已经成为了网站软件产品特性中一个至关重要的组成部分

1. 查看topic个数 ./kafka-topics.sh --list --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181 2. 查看topic的生产者与消费者消息 ./kafka-topics.sh --describe --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181 --topic test leader:负责处理消息的读和写，leader是从所有节点中随机选择的. Replicas:列出了所有的副本节点，不管节点是否在服务中. Lsr:是正在服务中的节点. 3. 生产者 bin/kafka-console-producer.sh --broker-list kafka1:9092 --topic test bin/kafka-console-producer.sh --broker-list 192.168.100.125:9092 --topic DreamTopic1 4.消费者 # 旧版本方式bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic test --from-beginning bin/kafka

一、环境准备 Linux操作系统 Java运行环境（1.6或以上） zookeeper 集群环境，可参照 Zookeeper集群部署 。 服务器列表： 配置主机名映射。 vi /etc/hosts ##添加如下内容 168.5.7.75 server1 168.5.7.76 server2 168.5.7.77 server3 二、kafka集群部署及启动 2.1、介质准备 分别登录server1、server2、server3执行， 操作、配置相同： ##更新或安装wget命令 yum -y install wget ##创建安装目录 mkdir -p /usr/local/services/kafka ##获取安装包kafka_2.11-2.3.0.tgz wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.11-2.3.0.tgz ##解压缩kafka_2.11-2.3.0.tgz tar -zxvf kafka_2.11-2.3.0.tgz 2.2、配置环境变量 分别登录server1、server2、server3执行， 操作、配置相同： export KAFKA_HOME=/usr/local/services/kafka/kafka_2.11-2.3.0 export PATH=

http://kafka.apache.org/documentation.html#configuration Broker Configs 4个必填参数， broker.id Each broker is uniquely identified by a non-negative integer id broker唯一标识，broker可以在不同的host或port，但必须保证id唯一 log.dirs (/tmp/kafka-logs) 日志文件存放的目录 可以用逗号隔开多个目录，当创建partitions时，会自动挑一个已创建partition最少的目录创建 因为Kafka必须充分利用磁盘资源，所以要让partititons均匀分布在所有disks上，至少每个disk创建一个目录 port (6667) broker server所在端口 zookeeper.connect zk的地址，hostname1:port1,hostname2:port2 可选的重要参数， advertised.host.name (null) 设置暴露给其他Consumer，producer，broker的域名 不设置会暴露默认域名，域名解析比较麻烦，这里可以设为ip message.max.bytes (1000000) broker可以接收的message的最大size

技术博客： https://github.com/yongxinz/tech-blog 同时，也欢迎关注我的微信公众号 AlwaysBeta ，更多精彩内容等你来。 在 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic（__consumer_offsets）中。 本文测试版本：kafka_2.11-2.2.0 启动 Kafka 后台常驻方式，带上参数 -daemon ，如： /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties 指定 JMX port 端口启动，指定 jmx，可以方便监控 Kafka 集群 JMX_PORT=9991 /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties 停止 Kafka /usr/local/kafka/bin/kafka-server-stop.sh Topic 创建 Topic

①为什么要搭建kafka集群 主要是在项目后期，要做一个实时计算的模块，实时数据都是从kafka集群里面读取，kafka就是一个分布式的消息队列，kafka搭建的底层基于zookeeper，zookeeper在 四、zookeeper-3.4.5-cdh5.3.6集群搭建 已经搭建好了。 ②安装scala2.11.4 1、利用WinSCP软件将scala-2.11.4.tgz文件拷贝到虚拟机sparkproject1的/usr/local/路径。 2、对scala-2.11.4.tgz进行解压缩，在虚拟机sparkproject1的local目录下输入：tar -zxvf scala-2.11.4.tgz 然后在local目录下输入：ll 删除scala-2.11.4.tgz文件，在local目录下输入：rm -rf scala-2.11.4.tgz 再输入：ll，发现只有scala-2.11.4文件夹，文件scala-2.11.4.tgz已经删除。 3、对scala目录进行重命名，在虚拟机sparkproject1的local目录下输入：mv scala-2.11.4 scala 然后输入：ll，进行检查。 4、配置scala相关环境变量 在虚拟机sparkproject1的local目录，输入：vi ~/.bashrc 输入键盘 i 键 ，插入内容： export SCALA

一、环境操作系统和软件版本介绍 1.环境操作系统为CentOS Linux release 7.2.1511 (Core) 可用cat /etc/redhat-release查询 2.软件版本 Kafka版本为：0.10.0.0 二、详细安装步骤 1.下载kafka_2.10-0.10.0.0.tgz到/data/soft目录 2.将kafka_2.10-0.10.0.0.tgz解压到/data/app/Kafka目录 1 [root@centos7 kafka_2.10-0.10.0.0]# tar –xzf kafka_2.10-0.10.0.0.tgz –C /data/app/Kafka 3.进入解压目录(在此为/data/app/Kafka/kafka_2.10-0.10.0.0/bin)，启动zookeeper服务。可以在命令的结尾加个&符号，这样服务就可以在后台运行 1 [root@centos7 kafka_2.10-0.10.0.0]# ./zookeeper-server-start.sh ../config/zookeeper.properties & 4.启动kafka服务 [root@centos7 kafka_2.10-0.10.0.0]# ./kafka-server-start.sh ../config/server.properties &

一、kafka介绍 1.1 主要功能 根据官网的介绍，ApacheKafka®是 一个分布式流媒体平台 ，它主要有3种功能： 　　1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因 　　2：It lets you store streams of records in a fault-tolerant way.以容错的方式记录消息流，kafka以文件的方式来存储消息流 　　3：It lets you process streams of records as they occur.可以再消息发布的时候进行处理 1.2 使用场景 1：Building real-time streaming data pipelines that reliably get data between systems or applications.在系统或应用程序之间构建可靠的用于传输实时数据的管道，消息队列功能 2：Building real-time streaming applications that transform or react to the streams of data。构建实时的流数据处理程序来变换或处理数据流，数据处理功能 1.3