Kafka 单机部署区分集成Zookeeper 部署和Zookeeper + Kafka 部署俩总方式,如果是单机部署Kafka,集成Zookeeper 最简单,也可以选择Zookeeper + Kafka 这种模式,但是如果为Kafka集群的话,则必须需要部署 Zookeeper 集群。
一. 获取解压
1. 下载
wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz
2. 解压kafka
tar -zxvf kafka_2.11-0.10.1.1.tgz
二. 配置修改
1. 集成Zookeeper 配置修改方式
1.0 配置profile
vi /etc/profile
export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile #配置生效
1.1 配置zookeeper.properties
vi conf/zookeeper.properties
dataDir=**** #根据自己情况设定
ckuebtPort=2291
1.2 配置server.properties
vi server.properties
log.dirs = *** #根据自己情况设定
zookeeper.connect=localhost:2291
2. 外部Zookeeper 配置修改方式
2.0 配置profile
vi /etc/profile
export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile #配置生效
2.1 配置server.properties
修改 broker.id = 1 及zookeeper.oonnect 地址,log.dirs 地址
broker.id=1
port=9092
host.name=localhost
# kafka代理地址
listeners=PLAINTEXT://:9092
log.dirs=/home/panfudong/soft/kafka/kafka_2.11-0.10.1.1/kafka-logs
zookeeper.connect=localhost:2181
到此zookeeper 单机配置成功
三. 启动停止
集成Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
外部Zookeeper
bin/kafka-server-start.sh config/server.properties
或者
./kafka-server-start.sh --daemon ../config/server.propertie
停止:
./bin/kafka-server-stop.sh
四. 操作命令
1. 开启kafka自带zookeeper:
前台运行:
bin/zookeeper-server-start.sh config/zookeeper.properties
后台运行:
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &
2. 开启kafka:
前台运行:
bin/kafka-server-start.sh config/server.properties
后台运行:
nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
3. 创建kafka主题:
bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test
4. 显示kafka所有主题:
bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191
5. 创建kafka生产者:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
6. 创建kafka消费者:
bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginninghttp://img1.maka.im/user/6626827/images/5a97355615a0e93a6dbcae09a6284de7.png?x-oss-process=image/crop,x_0,y_0,w_0,h_0/auto-orient,1/format,webp
备注:
--zookeeper:后面接的是你配置的zookeeper地址
--broker-list:默认端口为9092.可自行更改
来源:CSDN
作者:Freedom3568
链接:https://blog.csdn.net/zhanggqianglovec/article/details/103663208