基础架构
kafka Brokers（代理人）说明: 可以把这个看成是kafka的服务器，从宏观逻辑上可以看成是生产者把消息push到topic的partition上，并通知brokers，之后消费者订阅（pull）消息，触发broker，broker记录消费者（要消费的主题等相关信息）。
Consumer Group 说明： 可以把整个Consumer Group看做是一个Consumer集群；在kafka通过下面消费命令去启动一个消费者会默认随机分配到一个group中，可通过下方的命令查看生成group；另外在kafka的消费中有个规则：同一个group中只能有一个consumer消费partition，但同一个partition可以被不同group中的consumer消费；所以在一般场景下需要指定你需要消费的group（当然需要根据具体场景来定）
过程
-
生产者定期向主题发送消息。
-
Kafka代理存储为该特定主题配置的分区中的所有消息。 它确保消息在分区之间平等共享。
如果生产者发送两个消息并且有两个分区，Kafka将在第一分区中存储一个消息，在第二分区中存储第二消息。 -
消费者订阅特定主题。
-
一旦消费者订阅主题，Kafka将向消费者提供主题的当前偏移，并且还将偏移保存在Zookeeper系综中。
-
消费者将定期请求Kafka(如100 Ms)新消息。
-
一旦Kafka收到来自生产者的消息，它将这些消息转发给消费者。
-
消费者将收到消息并进行处理。
-
一旦消息被处理，消费者将向Kafka代理发送确认。
-
一旦Kafka收到确认，它将偏移更改为新值，并在Zookeeper中更新它。
-
由于偏移在Zookeeper中维护，消费者可以正确地读取下一封邮件，即使在服务器暴力期间。
-
以上流程将重复，直到消费者停止请求。
-
消费者可以随时回退/跳到所需的主题偏移量，并阅读所有后续消息。
常用命令
- 查看topic列表
kafka-topics.sh --list --zookeeper 192.168.10.150:2181
- 创建topic
kafka-topics.sh --create --zookeeper 121.36.1.22:2181 --replication-factor 1 --partitions 1 --topic hello-kafka
- 发送消息
kafka-console-producer.sh --broker-list 121.36.1.22:9092 --topic hello-kafka
- 消费消息 --form-beginning 从头开始消费对应的topic中的消息(一般场景不会用这个)
kafka-console-consumer.sh --bootstrap-server 192.168.10.150:9092 --from-beginning --topic hello-kafka
- 查看topic详情
kafka-topics.sh --topic hello-kafka --describe --zookeeper 121.36.1.22:2181
- 查看所有的consumer-group
kafka-consumer-groups.sh --bootstrap-server 192.168.10.150:9092 --list
- 删除topic
kafka-topics.sh --zookeeper 121.36.1.22:2181 --delete --topic hello-kafka
来源：CSDN
作者：萧凡君
链接：https://blog.csdn.net/qq_24067089/article/details/103462529