一、Linux虚拟机下的安装与测试
1、环境准备
使用的是vm虚拟机,安装ubuntu18.04.2的镜像文件
2、安装步骤与测试
1)首先在Kafka官网上下载kafka版本,本次下载的是Scala 2.11 - kafka_2.11-1.1.1.tgz。将其下载到/usr/local/目录下。
2)使用tar -zxvf kafka_2.11-1.1.1.tgz 对压缩包进行解压,并使用mv kafka_2.11-1.1.1 kafka对其压缩后的文件夹重命名。
3)由于kafka的启动是需要zookeeper支持的,但是压缩包中给提供了zookeeper的环境供测试使用,所以再单机的环境下我们不需要在重新下载zookeeper。单机环境下,可以直接启动zookeeper服务。
进入到kafka的bin/目录下,使用./zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties启动zookeeper,注意,zookeeper的配置文件在kafka/config/目录下。
4)zookeeper启动成功后,就可以kafka服务了。重新开一个终端,进入到kafka的安装目录,使用
./kafka-server-start.sh /usr/local/kafka/config/server.properties启动kafka服务。如果没有报错则说明安装成功,下图是我kafka服务启动成功的部分截图:
5)创建一个topic进行测试,使用./kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test创建一个test的topic,创建成功会显示“Created topic "test"”。
注:在创建的时候需要根据kafka的版本进行,刚开始创建的时候使用的是./kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic test命令,结果报错(Exception in thread "main" joptsimple.UnrecognizedOptionException: partition is not a recognized option),如下图:
这是因为不同的版本其创建topic的命令可能不一样吧。
6)使用./kafka-topics.sh --zookeeper localhost:2181 --describe --topic test可以查看创建的topic的信息
至此,kafka单机搭建及创建topic的测试就完成了。
二、windows下的安装与测试
1、环境准备
使用的是windows7的环境
2、安装步骤与测试
1)首先在Kafka官网上下载kafka版本,本次下载的是Scala 2.11 - kafka_2.11-1.1.1.tgz。将此保存到Windows的某个文件夹下,并进行解压。
2)进入到kafka解压后的目录,并进入到bin\windows目录下,打开cmd,启动zookeeper服务,使用zookeeper-server-start.bat E:\Kafka\kafka_2.11-1.1.1\config\zookeeper.properties启动zookeeper。
3)新开一个cmd,使用kafka-server-start.bat E:\Kafka\kafka_2.11-1.1.1\config\server.properties启动kafka。
4)创建主题。使用kafka-topics.bat --create --zookeeper localhost:2181 --topic test --partitions 1 -replication-factor 1,创建成功如图所示
5)查看创建主题的描述信息,使用kafka-topics.bat --describe --zookeeper localhost:2181 --topic test,即
6)使用kafka-console-producer.bat --broker-list ocalhost:9092 --topic test发送消息,使用ctrl+c终止
7)kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning查看消息
3、问题总结
1)在启动kafka的时候,出现:count not reserve enough space for 1048576KB object heap
原因:kafka启动需要占用大量jvm堆内存。
解决:找到jdk安装的目录,在bin目录下jvisualvm.exe,可以看到初始堆内存的大小和最大堆内存的大小。
进入kafka安装目录,修改bin\windows下的kafka-server-start.bat文件,将其大小修改为小于最大堆内存的大小,即可
2)在创建主题的时候,出现Exception in thread "main" joptsimple.UnrecognizedOptionException: partition is not a recognized option
原因:创建主题的命令的错误
解决方法:重新查看创建主题的命令并修改。
来源:CSDN
作者:Yangschun
链接:https://blog.csdn.net/shang1200/article/details/97840445