1. 简介
-
Kafka 是 LinkedIn 使用 Scala 编写具有高水平扩展和高吞吐量的分布式消息系统。
-
Kafka 对消息保存时根据 Topic 进行归类,发送消息者称为 producer,消息接收者称为 consumer,此外 Kafka 集群有多个 Kafka 实例组成,每个实例(server)称为 broker。
-
无论是 Kafka 集群,还是 producer 和 consumer 都依赖于 zookeeper 来保证系统可用性,为集群保存一些 meta 信息。
2. 主流 MQ 对比
- 数据吞吐量:Kafka > RabbitMQ > ActiveMQ
- 数据准确性:RabbitMQ > ActiveMQ > Kafka
ActiveMQ | RabbitMQ | Kafka | |
---|---|---|---|
所属社区/公司 | Apache | Mozilla Public License | Apache/LinkedIn |
开发语言 | Java | Erlang | Scala |
支持的协议 | OpenWire、STOMP、REST、XMPP、AMQP | AMQP | 仿 AMQP |
事务 | 支持 | 不支持 | 0.11 开始支持 |
集群 | 支持(不擅长) | 支持(不擅长) | 支持 |
负载均衡 | 支持 | 支持 | 支持 |
动态扩容 | 不支持 | 不支持 | 支持(zk) |
3. Kafka 主要特性
-
Kafka 是一个流处理平台,流平台需如下特性:
- 可发布和订阅流数据,类似于消息队列或者企业级消息系统。
- 以存储容错的方式存储流数据。
- 可以在流数据产生时就进行处理。
-
Kafka 适合什么样的场景?
- 基于 Kafka,构造实时流数据管道,让系统或应用之间可靠地获取数据。
- 构建实时流式应用程序,处理流数据或基于数据做出反应。
4. 相关概念
- AMQP(Advanced Message Queuing Protocal),是一个提供统一消息服务的标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件而设计。
概念 | 描述 |
---|---|
server | AMQP 服务端,接受客户端连接,实现 AMQP 消息队列和路由功能的进程。 |
producer | 生产者,向 broker 发布消息的客户端应用程序。 |
consumer | 消费者,向消息队列请求消息的客户端应用程序。 |
Topic | 是数据主题,是 Kafka 用来代表一个数据流的一个抽象。发布数据时,可用 topic 对数据进行分类,也作为订阅数据时的主题。一个 Topic 同时可有多个 producer、consumer。 |
Partition | 每个 Partition 是一个顺序的、不可变的 record 序列,partition 中的 record 会被分配一个自增长的 id,我们称之为 offset。 |
Replication | 每个 partition 还会被复制到其他服务器作为 replication,这是一种冗余备份策略。 |
Record | 每条记录都有 key、value、timestamp 三个信息 |
5. Kafka 核心 API
四个核心 API
API | 描述 |
---|---|
Producer API | 允许一个应用程序发布一串流式的数据到一个或者多个 Kafka topic。 |
Consumer API | 允许一个应用程序订阅一个或者多个 topic,并且对发布给它们的流式数据进行处理。 |
Stream API | 允许一个应用程序作为一个流处理器,消费一个或者多个 topic 产生的输入流,然后生产一个输出流到一个或者多个 topic 中去,在输入输出中进行有效的转换。 |
Connector API | 允许构建并运行可重用的生产者或者消费者,将 Kafka topics 连接到已存在的应用程序或者数据系统。比如,连接到一个关系型数据库,捕捉表(table)的所有变更内容。 |
Kafka API - producer
Properties props = new Properties();
props.put("batch.size", 16384); // 默认值为 16384
props.put("linger.ms", 16384); // 默认值为 0
props.put("acks", "all");
props.put("retries", 1);
// ...
Producer<String, String> producer = new KafkaProducer(props);
ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value");
producer.send(record);
producer.close();
- producer 会为每个 partition 维护一个缓冲,用来记录还没有发送的数据,每个缓冲区大小用 batch.size 指定,默认值为 16K。
- linger.ms:buffer 中的数据在达到 batch.size 前,需要等待的时间。
- acks:用来配置请求成功的标准。
- 0:不检查返回。
- 1:leader partition 请求成功即可。
- all:leader partition 及 follower partition 请求成功才行。
6. Kafka 使用场景
1. 消息系统
-
消息系统被用于各种场景,如解耦数据生产者,缓存未处理的消息。Kafka 可作为传统的消息系统的替代者,与传统消息系统相比,Kafka 有更好的吞吐量、更好的可用性,这有利于处理大规模的消息。
-
根据经验,通常消息传递对吞吐量要求较低,但可能要求较低的端到端延迟,并经常依赖 Kafka 可靠的 durable 机制。
-
在这方面,Kafka 可以与传统的消息传递系统(ActiveMQ 和 RabbitMQ)相媲美。
2. 存储系统
-
写入到 Kafka 的数据是落地到了磁盘上,并且有冗余备份,Kafka 允许 producer 等待确认,通过配置,可实现直到所有的 replication 完成复制才算写入成功,这样可保证数据的可用性。
-
Kafka 认真对待存储,并允许 client 自行控制读取位置,你可以认为 Kafka 是一种特殊的文件系统,它能够提供高性能、低延迟、高可用的日志提交存储。
3. 日志聚合(Kafka 官方提出,装得有点大)
-
日志系统一般需要如下功能:日志的收集、清洗、聚合、存储、展示。
-
Kafka 常用来替代其他日志聚合解决方案。
-
和 Scribe、Flume 相比,Kafka 提供同样好的性能、更健壮的堆积保障、更低的端到端延迟。
-
日志会落地,导致 Kafka 做日志聚合更昂贵。
-
Kafka 可实现日志的清洗(需要编码)、聚合(可靠但昂贵)、存储。
-
ELK 是现在比较流行的日志系统。在 Kafka 的配合下才是更成熟的方案,Kafka 在 ELK 技术栈中,主要起到 buffer 的作用,必要时可进行日志的汇流。
4. 跟踪网站活动
-
Kafka 的最初是作用就是,将用户行为跟踪管道重构为一组实时发布-订阅源。把网站活动(浏览网页、搜索或其他的用户操作)发布到中心 topics 中,每种活动类型对应一个 topic。基于这些订阅源,能够实现一系列用例,如实时处理、实时监视、批量地将 Kafka 的数据加载到 Hadoop 或离线数据仓库系统,进行离线数据处理并生成报告。
-
每个用户浏览网页时都生成了许多活动信息,因此跟踪活动的数据量通常非常大。(Kafka 实际应用)
5. 流处理
-
Kafka 社区认为仅仅提供数据生产、消息机制是不够的,他们还要提供流数据实时处理机制,从 0.10.0.0 开始,Kafka 通过提供 Stream API 来提供轻量、但功能强大的流处理。实际上就是 Stream API 帮助解决流引用中一些棘手的问题,比如:处理无序的数据,代码变化后再次处理数据,进行有状态的流式计算。
-
Stream API 的流处理包含多个阶段,从 input topics 消费数据,做各种处理,将结果写入到目标 topic,Stream API 基于 Kafka 提供的核心原语构建,它使用 Kafka consumer、producer 来输入、输出,用 Kafka 来做状态存储。
-
流处理框架:flink、spark streaming、Storm、Samza 才是正统的流处理框架,Kafka 在流处理中更多的是扮演流存储的角色。
来源:oschina
链接:https://my.oschina.net/shadowolf/blog/4337216