Kafka 安装和测试

孤人 提交于 2019-11-27 05:10:44
[size=medium]1. 简介[/size]

kafka (官网地址:[url]http://kafka.apache.org[/url])是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。

[img]http://dl2.iteye.com/upload/attachment/0096/1014/758475a7-1c1b-3c60-a753-c04a6debec0d.jpg[/img]

i. 消息的发布(publish)称作producer,消息的订阅(subscribe)称作consumer,中间的存储阵列称作broker。

ii. 多个broker协同合作,producer、consumer和broker三者之间通过zookeeper来协调请求和转发。

iii. producer产生和推送(push)数据到broker,consumer从broker拉取(pull)数据并进行处理。

iv. broker端不维护数据的消费状态,提升了性能。

v. 直接使用磁盘进行存储,线性读写,速度快:避免了数据在JVM内存和系统内存之间的复制,减少耗性能的创建对象和垃圾回收。

vi. Kafka使用scala编写,可以运行在JVM上。

[size=medium]2. 安装:[/size]

a. 首先安装JRE/JDK

[url=http://czj4451.iteye.com/blog/2041159]Linux安装JDK[/url]

b. 下载kafka

进入下载页面:[url]http://kafka.apache.org/downloads.html[/url]

选择Binary downloads下载 (Source download需要编译才能使用)

也可以直接在linux终端下载:

wget -q http://apache.fayea.com/apache-mirror/kafka/0.8.1/kafka_2.8.0-0.8.1.tgz


c. 解压

tar -xzvf kafka_2.8.0-0.8.1.tgz
rm kafka_2.8.0-0.8.1.tgz
cd kafka_2.8.0-0.8.1


目录:

[img]http://dl2.iteye.com/upload/attachment/0096/1037/62a7cfc6-4add-3df5-a219-b71ae294ac95.png[/img]
/bin 启动和停止命令等。
/config 配置文件
/libs 类库

d. 修改配置
Kafka默认开启JVM压缩指针,但只是在64位的HotSpot VM受支持,如果安装了32位的HotSpot VM,需要修改[b]/bin/kafka-run-class.sh[/b]文件

vi bin/kafka-run-class.sh


找到如下行:

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"

去除[color=red]-XX:+UseCompressedOops[/color]参数

[size=medium]3. 启动和停止[/size]

启动Zookeeper server:

bin/zookeeper-server-start.sh config/zookeeper.properties &

&是为了能退出命令行

启动Kafka server:

bin/kafka-server-start.sh config/server.properties &


停止Kafka server

bin/kafka-server-stop.sh


停止Zookeeper server:

bin/zookeeper-server-stop.sh


[size=medium]4. 单机连通性测试[/size]

运行producer:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

早版本的Kafka,--broker-list localhost:9092需改为--zookeeper localhost:2181

运行consumer:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

在producer端输入字符串并回车,查看consumer端是否显示。

[size=medium]5. 分布式连通性测试[/size]

Zookeeper Server, Kafka Server, Producer都放在服务器server1上,ip地址为192.168.1.10
Consumer放在服务器server2上,ip地址为192.168.1.12。

分别运行server1的producer和server2的consumer,

bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test



bin/kafka-console-consumer.sh --zookeeper 192.168.1.10:2181 --topic test --from-beginning


在producer的console端输入字符串,consumer报[color=red]Connection refused[/color]错误:
[img]http://dl2.iteye.com/upload/attachment/0096/3069/ba84c4c1-1e82-3123-bcd1-510da765a9ea.png[/img]

broker, producer和consumer都注册到zookeeper上,producer和consumer的参数明确指定。问题出在broker的配置文件server.properties上:

# Hostname the broker will bind to. If not set, the server will bind to all interfaces
#host.name=localhost

host名称没有指定,就是127.0.0.1,consumer去broker拿数据就有问题。设置为192.168.1.10,重启服务就好了。
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!