- kafka 相关术语：
| 术语 | 含义 |
|---|---|
| producer，产生消息 | 消息生产者，发布消息到 kafka 集群的终端或服务。 |
| consumer，消费消息 | 从 kafka 集群中消费消息的终端或服务。 |
| topic，主题，在主题里分布消息 | 每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。 |
| broker，服务器 | kafka 集群中包含的服务器。 |
| Consumer group | high-level consumer API 中，每个 consumer 都属于一个 consumer group，每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。 |
| partition | partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。 |
| replica | partition 的副本，保障 partition 的高可用。 |
| leader | replica 中的一个角色， producer 和 consumer 只跟 leader 交互。 |
| follower | replica 中的一个角色，从 leader 中复制数据。 |
| controller | kafka 集群中的其中一个服务器，用来进行 leader election 以及 各种 failover。 |
| zookeeper | kafka 通过 zookeeper 来存储集群的 meta 信息。 |
- kafka 相关命令：
| 相关命令 | 说明 |
|---|---|
| bin/zookeeper-server-start.sh config/zookeeper.properties | 启动kafka自带zookeeper |
| bin/kafka-server-start.sh config/server.properties & | 再启动kafka |
| bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test | 创建一个名为“test”的Topic，只有一个分区和一个备份 |
| bin/kafka-topics.sh --list --zookeeper localhost:2181 | 查看所有创建的topic列表 |
| bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic | 查看某个topic的具体信息 |
| bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test | 生成消息 |
| bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning | 消费信息 |
| sudo bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties | 用Connect连接器从文件导入数据到Kafka topic，再从Kafka topic导出数据到文件。注意：1.如果不能写入文件，可能是没权限，命令前面加上sudo；2.启动Connect时还没有创建topic，那么topic将自动创建（使用默认的分区和副本） |
| cat file-input.txt | bin/kafka-console-producer.sh --broker-list localhost:9092 --topic streams-file-input |
| bin/kafka-run-class.sh org.apache.kafka.streams.examples.wordcount.WordCountDemo | 运行远端java文件（不用自己写） |
kafka 安装、启动、使用
更多详细内容（包括模拟集群），查看出处：http://orchome.com/6
==================过程开始Step 1: 下载代码
下载0.10.0.0版本并且解压它。
> tar -xzf kafka_2.11-0.10.0.0.tgz > cd kafka_2.11-0.10.0.0
Step 2: 启动服务
运行kafka需要使用Zookeeper，所以你需要先启动Zookeeper，如果你没有Zookeeper，你可以使用kafka自带打包和配置好的Zookeeper。
> bin/zookeeper-server-start.sh config/zookeeper.properties [2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig) ...
现在启动kafka服务
> bin/kafka-server-start.sh config/server.properties & [2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties) [2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties) ...
Step 3: 创建一个主题(topic)
创建一个名为“test”的Topic，只有一个分区和一个备份：
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
创建好之后，可以通过运行以下命令，查看已创建的topic信息：
> bin/kafka-topics.sh --list --zookeeper localhost:2181 test
或者，除了手工创建topic外，你也可以配置你的broker，当发布一个不存在的topic时自动创建topic。
Step 4: 发送消息
Kafka提供了一个命令行的工具，可以从输入文件或者命令行中读取消息并发送给Kafka集群。每一行是一条消息。
运行producer（生产者）,然后在控制台输入几条消息到服务器。
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a message This is another message
Step 5: 消费消息
Kafka也提供了一个消费消息的命令行工具，将存储的信息输出出来。
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning This is a message This is another message
如果你有2台不同的终端上运行上述命令，那么当你在运行生产者时，消费者就能消费到生产者发送的消息。
==================过程结束
Kafka集群保持所有的消息，直到它们过期， 无论消息是否被消费了。
消费者所持有的仅有的元数据就是这个偏移量，也就是消费者在这个log中的位置。 这个偏移量由消费者控制：正常情况当消费者消费消息的时候，偏移量也线性的的增加。但是实际偏移量由消费者控制，消费者可以将偏移量重置为更老的一个偏移量，重新读取消息。 可以看到这种设计对消费者来说操作自如， 一个消费者的操作不会影响其它消费者对此log的处理。
每个分区有一个leader，零或多个follower。Leader处理此分区的所有的读写请求，而follower被动的复制数据。如果leader宕机，其它的一个follower会被推举为新的leader。 一台服务器可能同时是一个分区的leader，另一个分区的follower。
通常来讲，消息模型可以分为两种， 队列和发布-订阅式。 队列的处理方式是 一组消费者从服务器读取消息，一条消息只有其中的一个消费者来处理。在发布-订阅模型中，消息被广播给所有的消费者，接收到消息的消费者都可以处理此消息。Kafka为这两种模型提供了单一的消费者抽象模型： 消费者组 （consumer group）。 消费者用一个消费者组名标记自己。 一个发布在Topic上消息被分发给此消费者组中的一个消费者。 假如所有的消费者都在一个组中，那么这就变成了queue模型。 假如所有的消费者都在不同的组中，那么就完全变成了发布-订阅模型。
相同的消费者组中不能有比分区更多的消费者，否则多出的消费者一直处于空等待，不会收到消息。
相同的消费者组中不能有比分区更多的消费者，否则多出的消费者一直处于空等待，不会收到消息。如果启动Kafka Connect时还没有创建topic，那么topic将自动创建（使用默认的分区和副本），这可能不是最合适的（因为kafka可不知道业务需要，只能根据默认参数创建）。
报错：org.apache.kafka.connect.errors.DataException: JsonDeserializer with schemas.enable requires "schema" and "payload" fields and may not contain additional fields
解决：https://rmoff.net/2017/09/06/kafka-connect-jsondeserializer-with-schemas-enable-requires-schema-and-payload-fields/
来源：https://www.cnblogs.com/cag2050/p/7724336.html