kafka(十七):Kafka监控软件KafkaOffsetMonitor和kafka-manager操作实例

与世无争的帅哥 提交于 2019-12-10 09:50:48

一、实现功能

本文描述两种监控kafka执行软件KafkaOffsetMonitor和kafka-manager的实现,参考很多大佬的实现方案,和本地有些出入,所以,特地重新重写了一次。参考解决方案,在文末给出。

二、本地环境

1.Centos6

2.Kafka0.8.2.1

3.Kafka准备工作

(1)kafka启动

启动zk和kafka

bin/zkServer.sh start
bin/kafka-server-start.sh config/server.properties

(2)创建对应topic

kafka-topics.sh --create --zookeeper hadoop01:2181/kafka08 --replication-factor 1 --partitions 1 --topic hello_topic
查看
[root@hadoop01 kafka_2.11-0.8.2.1]# bin/kafka-topics.sh --list --zookeeper hadoop01:2181/kafka08
__consumer_offsets
hello_topic
subscribe_topic1

(3)消费者和生产者

生产者
bin/kafka-console-producer.sh --broker-list hadoop01:9092 --topic hello_topic
消费者
bin/kafka-console-consumer.sh --zookeeper hadoop01:2181/kafka08 --topic hello_topic --from-beginning

三、KafkaOffsetMonitor

【本文提供本地执行一个实例,具体执行原理,大佬博客里面讲解很清楚,建议直接看大佬西门大官人:https://www.cnblogs.com/dadonggg/p/8242682.html】

1.下载

因为github上的release版本有问题,所以建议下载KafkaOffsetMonitor-assembly-0.2.0.jar版本:
下载百度网盘:链接:https://pan.baidu.com/s/1geEBEvT 密码:jaeu

2.本地直接执行

java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m  -cp KafkaOffsetMonitor-assembly-0.2.0.jar  com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--port 8123 \
--zk 192.168.130.3:2181/kafka08 \
--refresh 5.minutes \
--retain 1.day >/dev/null 2>&1

3.访问页面http://hadoop01:8123

 
(1)查看topic list
 
(2)查看集群

四、kafka-manager

【和KafkaOffsetMonitor一样,本节只是提供一个实现实例,具体详解,可以学习大佬西门大官人的:https://www.cnblogs.com/dadonggg/p/8205302.html】

1.下载

因为觉得麻烦,所以直接下载大佬编译好的,链接:https://pan.baidu.com/s/1qYifoa4 密码:el4o

2.解压缩

unzip kafka-manager-1.3.3.7.zip -d /opt/softwares/kafka-monitoring
cd /opt/softwares/kafka-monitoring/kafka-manager-1.3.3.7

3.修改配置文件

cd conf
vi application.conf
修改参数
#kafka-manager.zkhosts="localhost:2181"
kafka-manager.zkhosts="hadoop01:2181/kafka08"

4.启动

nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9002 &
其中:
-Dhttp.port:指定端口号,默认9000
-Dconfig.file:指定配置文件

5.查看http://hadoop01:9002/

默认是没有集群的,需要重新创建
 
6.创建集群
 
填写集群信息,关键是一下两个点:kafka的topic在zookeeper中位置,以及kafka版本。JMX复选框,如果在kafka中没有配置则不要勾选;其他默认即可。
 
结果:
 

五、参考

1. https://www.cnblogs.com/dadonggg/p/8242682.html
2. https://www.cnblogs.com/dadonggg/p/8205302.html

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!