kafka命令

问题背景 前段时间，遇到一个kafka集群部署在k8s中，而kafka客户端在另一个k8s集群的pod的容器中，kafka集群中配置的advertised_listeners便是hostname。然而当时我只知道kafka集群的ip地址，当在客户端直接使用ip操作broker的时候便报错无法解析一个hostname。 当时不知道什么原因，只听同事说需要在kafka客户端对应的yaml文件中添加 HostAliases 字段然后重新部署kafka客户端所在的pod。 然后便可以访问了。 不明所以然的我，查了一下hostAliases的使用发现没什么特别之处。然后查了listeners的使用也没有说是可以携带域名之类的 最后查了一下kafka客户端的请求过程才明白是怎么回事(笔者接触kafka不久只是阅读过文档并没有了解到其客户端的请求过程和步骤，所以迷惑了这么久 - _ -) kafka broker配置介绍 kafka listeners及其相关配置项的作用 先来看一下官方文档对kafka broker中有关listeners配置项的介绍： 名称 描述 类型 默认值 有效值 重要性 listeners 监听器列表 - 使用逗号分隔URI列表和监听器名称。如果侦听器名称不是安全协议，则还必须设置listener.security.protocol.map。指定主机名为0.0.0

Kafka快速入门之案例教程 先准备工具 下载kafka 下载zookeeper 先准备工具 下载kafka kafka下载地址： http://archive.apache.org/dist/kafka/ 博主推荐下载 2.0以上的版本，解压后的文件 下载zookeeper zookeeper下载地址： http://zookeeper.apache.org/ 博主知道，大伙儿都晓得Kafka需要zookeeper作为注册中心。Kafka内置也有zookeeper，但是本人还是比较推荐使用外部的zookeeper。因人而异！ 好，到这里博主相信大家都已经下载好了，接下来就是把Kafka和zookeeper启动了。 先cp 一份zoo_sample.cfg -> zoo.cfg 可以自己取个名字。 不说废话，直接贴图： 接下来启动zookeeper，下面有命令可以直接cv ./zkServer.sh start ./zkServer.sh status zookeeper单台搭建算是完成了。 兄弟们都坚持到这里了。是不是有点累，对，咋们还得继续。加油 坚持坚持 接下来是Kafka的配置了，不用担心很容易的。直接贴图： Kafka需要想zookeeper进行注册 给定唯一标识id,如果是单体，或是集群都养成这种习惯都是很好的。 接下来就是启动Kafka生产者： ./bin/kafka

Kafka单机安装 Kafka单机安装在官网处下载解压即可，然后配置环境变量即可启动，单机版可以不安装独立的zookeeper，使用kafka自带的zookeeper服务 启动命令如下 先启动自带zookeeper nohup bin/zookeeper-server-start.sh config/zookeeper.properties & 然后启动kafka nohup bin/kafka-server-start.sh config/server.properties & JPS查看是否有zookeeper服务和Kafka服务 Kafka集群安装 集群服务器 192.168.200.7 kafka01 192.168.200.8 kafka02 192.168.200.9 kafka03 免密 三台主机配置免密 ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub 地址 配置hosts-->分发到不同的主机上 scp /etc/hosts root@kafka03:/etc/hosts 安装JDK 省略，安装方法就是下载解压，然后配置环境变量，注意JAVA版本是否是8 安装zk 1、修改配置文件名称 mv zoo_sample.cfg zoo.cfg 2、修改存放目录 dataDir=/keduox/data

kafka集群搭建kafka_2.11-0.11.0.0.tgz 此时zookeeper集群已经搭建好并启动状态，在3台虚拟机上 （1）配置文件： config/server.properties：此时要主要原来文件本身已经带有这些了，要先把以前的注释掉，或者直接在原有基础上改（遇到的坑） broker.id=1 listeners=PLAINTEXT://192.168.132.130:9092（这里是自己主机ip地址） log.dirs=/usr/kafka/dataLog zookeeper.connect=192.168.132.130:2181,192.168.132.131:2181,192.168.132.132:2181 producer.properties： bootstrap.servers=192.168.132.130:9092,192.168.132.131:9092,192.168.132.132:9092 consumer.properties： zookeeper.connect=192.168.132.130:2181,192.168.132.131:2181,192.168.132.132:2181 （2）配置成功后启动，每个都启动一下 nohup bin/kafka-server-start.sh config/server

由于kafka依赖zookeeper，所以使用到了docker-compose，由于我使用的是Docker Desktop，默认安装了docker-compose，否则需要自己安装，可以用下面命令检查是否安装了docker-compose docker-compose -v 这里就不介绍安装，直接上docker-compose.yml代码 version: '2' services: zookeeper: image: "zookeeper" hostname: "zookeeper.local" container_name: "zookeeper" #设置网络别名 networks: local: aliases: - "zookeeper.local" kafka: image: "wurstmeister/kafka" hostname: "kafka.local" container_name: "kafka" ports: - "9092:9092" networks: local: aliases: - "kafka.local" environment: KAFKA_ADVERTISED_HOST_NAME: kafka.local KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 #设置网络，名为local networks:

http://www.aboutyun.com/thread-6855-1-1.html 个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实 时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。 可以带着下面问题来阅读本文章： 1.一个好的项目架构应该具备什么特点？ 2.本项目架构是如何保证数据准确性的？ 3.什么是Kafka？ 4.flume+kafka如何整合？ 5.使用什么脚本可以查看flume有没有往Kafka传输数据 做软件开发的都知道模块化思想，这样设计的原因有两方面： 一方面是可以模块化，功能划分更加清晰，从“数据采集--数据接入--流失计算--数据输出/存储” 1）.数据采集 负责从各节点上实时采集数据，选用cloudera的flume来实现 2）.数据接入 由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用apache的kafka 3）.流式计算 对采集到的数据进行实时分析，选用apache的storm 4）.数据输出 对分析后的结果持久化，暂定用mysql 另一方面是模块化之后，假如当Storm挂掉了之后，数据采集和数据接入还是继续在跑着，数据不会丢失

前置条件 必须安装zookeeper。 Linux安装zookeeper kafka官方源 kafka官网下载页面 下载kafka安装包 # 版本：kafka_2.11-2.3.0.tgz wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.11-2.3.0.tgz 解压安装包 tar -zxvf kafka_2.11-2.3.0.tgz cp kafka_2.11-2.3.0 /usr/local/kafka 启动kafka服务 cd /usr/local/kafka/bin # 启动命令：守护进程进行启动 ./kafka-server-start.sh -daemon ../config/server.properties 备注：这里有可能报错，因为默认情况下，kafka默认的内存要1G,如果你这里没有这么多内存可用，那么就会启动失败。报错如下： Java Hotspot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12) # # There is insufficient

Don't think it is supported yet. Take a look at this JIRA tracking Delete Topic. For delete manually Shutdown the cluster Clean kafka log dir (specified by the log.dir attribute in kafka config file ) as well the zookeeper data Restart the cluster For any given topic what you can do is Stop kafka Clean kafka log specific to partition, kafka stores its log file in a format of "logDir/topic-partition" so for a topic named "MyTopic" the log for partition id 0 will be stored in /tmp/kafka-logs/MyTopic-0 where /tmp/kafka-logs is specified by the log.dir attribute Restart kafka This is NOT a good

在Kafka安装之前需要先安装jdk，zookeeper。 jdk的安装这里不详细介绍，推荐直接使用wget的方式下载openjdk， 下载了openjdk后，后续不需要配置，且其他（像以前的tomcat，zookeeper 和kafka都不需要特别的配置java的相关配置了！） 下面直接从zookeeper的下载开始： 1.从Apache的官网是下载，这里使用3.4.6版本，下载tar.gz版本。 而后使用： tar -xvf zookeeper-3.4.6.tar.gz -C 目标地址 来解压。 接着修改配置文件：conf文件夹下的zoo.cfg。（也可以直接在Ubuntu中 直接点进去修改） cat > /usr/local/zookeeper/conf/zoo.cfg << EOF > tickTime=2000 > dataDir=/var/lib/zookeeper > clientPort=2181 > EOF 开启zookeeper： /usr/local/zookeeper/bin/zkServer.sh start JMX enabled by default Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Starting zookeeper ... STARTED 关键点：bin/zkServer

1. ZooKeeper 安装部署 本文在一台机器上模拟 3 个 zk server 的集群安装 。 1.1. 创建目录、 解压 cd /usr/ # 创建项目目录 mkdir zookeeper cd zookeeper mkdir tmp mkdir zookeeper-1 mkdir zookeeper-2 mkdir zookeeper-3 cd tmp mkdir zk1 mkdir zk2 mkdir zk3 cd zk1 mkdir data mkdir log cd zk2 mkdir data mkdir log cd zk3 mkdir data mkdir log # 将压缩包分别解压一份到 zookeeper-1, zookeeper-2, zookeeper-3 目录下 tar -zxvf zookeeper-3.4.10.tgz 1.2. 创建每个目录下 conf/zoo.cfg 配置文件 /usr/zookeeper/zookeeper-1/zookeeper-3.4.10/conf/zoo.cfg 内容如下： tickTime=2000 initLimit=10 syncLimit=5 dataDir=/home/hadoop/tmp/zk1/data dataLogDir=/home/hadoop/tmp/zk1/log clientPort