Kafka单机环境安装与测试

北战南征 提交于 2019-11-27 05:10:53

一、Linux虚拟机下的安装与测试

1、环境准备

     使用的是vm虚拟机,安装ubuntu18.04.2的镜像文件

2、安装步骤与测试

      1)首先在Kafka官网上下载kafka版本,本次下载的是Scala 2.11 - kafka_2.11-1.1.1.tgz。将其下载到/usr/local/目录下。

      2)使用tar -zxvf kafka_2.11-1.1.1.tgz 对压缩包进行解压,并使用mv kafka_2.11-1.1.1 kafka对其压缩后的文件夹重命名。

      3)由于kafka的启动是需要zookeeper支持的,但是压缩包中给提供了zookeeper的环境供测试使用,所以再单机的环境下我们不需要在重新下载zookeeper。单机环境下,可以直接启动zookeeper服务。

           进入到kafka的bin/目录下,使用./zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties启动zookeeper,注意,zookeeper的配置文件在kafka/config/目录下。

      4)zookeeper启动成功后,就可以kafka服务了。重新开一个终端,进入到kafka的安装目录,使用

           ./kafka-server-start.sh /usr/local/kafka/config/server.properties启动kafka服务。如果没有报错则说明安装成功,下图是我kafka服务启动成功的部分截图:

                        

 

​     5)创建一个topic进行测试,使用./kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test创建一个test的topic,创建成功会显示“Created topic "test"”。

     注:在创建的时候需要根据kafka的版本进行,刚开始创建的时候使用的是./kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic test命令,结果报错(Exception in thread "main" joptsimple.UnrecognizedOptionException: partition is not a recognized option),如下图:

                 

             这是因为不同的版本其创建topic的命令可能不一样吧。

     6)使用./kafka-topics.sh --zookeeper localhost:2181 --describe --topic test可以查看创建的topic的信息

                 

       至此,kafka单机搭建及创建topic的测试就完成了。

二、windows下的安装与测试

1、环境准备

     使用的是windows7的环境

2、安装步骤与测试

    1)首先在Kafka官网上下载kafka版本,本次下载的是Scala 2.11 - kafka_2.11-1.1.1.tgz。将此保存到Windows的某个文件夹下,并进行解压。

    2)进入到kafka解压后的目录,并进入到bin\windows目录下,打开cmd,启动zookeeper服务,使用zookeeper-server-start.bat E:\Kafka\kafka_2.11-1.1.1\config\zookeeper.properties启动zookeeper。

    3)新开一个cmd,使用kafka-server-start.bat E:\Kafka\kafka_2.11-1.1.1\config\server.properties启动kafka。

    4)创建主题。使用kafka-topics.bat --create --zookeeper localhost:2181 --topic test --partitions 1 -replication-factor 1,创建成功如图所示

    5)查看创建主题的描述信息,使用kafka-topics.bat --describe --zookeeper localhost:2181 --topic test,即

    6)使用kafka-console-producer.bat --broker-list ocalhost:9092 --topic test发送消息,使用ctrl+c终止

    7)kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning查看消息

3、问题总结

    1)在启动kafka的时候,出现:count not reserve enough space for 1048576KB object heap

    原因:kafka启动需要占用大量jvm堆内存。

    解决:找到jdk安装的目录,在bin目录下jvisualvm.exe,可以看到初始堆内存的大小和最大堆内存的大小。

    进入kafka安装目录,修改bin\windows下的kafka-server-start.bat文件,将其大小修改为小于最大堆内存的大小,即可

    2)在创建主题的时候,出现Exception in thread "main" joptsimple.UnrecognizedOptionException: partition is not a recognized option

    原因:创建主题的命令的错误

    解决方法:重新查看创建主题的命令并修改。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!