pykafka

1. Kafka 　　 1. 简介 　　　　Kafka 是一种分布式的、分区的、多副本的基于发布／订阅的消息系统。它是通过 zookeeper 进行协调，常见可以用于 web/nginx 日志、访问日志、消息服务等。主要应用场景为：日志收集系统和消息系统。 　　　　Kafka 的主要设计目标如下： 　　　　　　1. 以时间复杂度为 O(1) 的方式提供持久化能力，即使对 TB 级别以上的数据也能保证常数时间的访问性能。 　　　　　　2. 高吞吐率，即使在十分廉价的机器上也能实现单机支持每秒 100K 条消息的传输。 　　　　　　3. 支持 Kafka Server (即 Kafka 集群的服务器)间的消息分区，及分布式消费，同时保证每个 partition 内的消息顺序传输。 　　　　　　4. 同时支持离线数据处理和实时数据处理 　 　2. Kafka 架构 　　　　如上图所示，一个 Kafka 集群由若干producer、若干consumer、若干broker，以及一个zookeeper集群所组成。Kafka通过zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance。producer使用push模式将消息发布到broker，consumer使用pull模式从broker订阅并消费消息。 　　　　Kafka名词解释： 　

使用pykafka来进行消息生产 1 #coding:utf8 2 from pykafka import KafkaClient 3 import json 4 5 client = KafkaClient(hosts='192.168.1.1:9092') 6 7 topic = client.topics['perfin'] 8 producer = topic.get_producer(use_rdkafka=False) 9 producer.start() 10 11 msg_dict = { 12 "sleep_time": 10, 13 "db_config" : { 14 "database" : "test", 15 "host" : "192.168.137.12", 16 "user" : "root", 17 "password" : "root" 18 }, 19 "table" : "msg", 20 "msg" : "Hello World" 21 } 22 msg = json.dumps(msg_dict) 23 producer.produce(msg) 24 producer.stop() 来源： https://www.cnblogs.com/yeyong/p/11854944.html