如何扩展Kafka的broker

有些话、适合烂在心里 提交于 2020-02-05 09:31:04

背景:因为公司收集终端盒子数据的kafka服务偶尔会倒,所以考虑使用kafka的分布式,增加broker节点,来提高系统的可用性。当然,zookeeper服务节点也是可以增加的,但不在本文范围内。

具体步骤如下:

1. 新加kafka服务,并启动

 如果是同一服务器,则可以拷贝新建server.properties的方式启动,具体参考官网

 如果是不同服务器,则需要下载解压同一版本的kafka,并修改zookeeper的设置,然后启动

 这里我用的是第二种方案,下面是server.properties中修改的三个配置

broker.id=1
listeners=PLAINTEXT://192.168.0.43:9093
zookeeper.connect=192.168.0.20:2181

启动命令

nohup /opt/kafka_2.12-2.4.0/bin/kafka-server-start.sh /opt/kafka_2.12-2.4.0/config/server.properties &

相应的停止命令

/opt/kafka_2.12-2.4.0/bin/kafka-server-stop.sh /opt/kafka_2.12-2.4.0/config/server.properties &

 

2. 重新给Topic分配副本

1)新建json文件increase-replication-factor.json,并输入如下内容

{"version":1,
"partitions":[{"topic":"activeRecords","partition":0,"replicas":[0,1]}]
}

2)执行分配命令

./bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --execute

 

3. 查看执行结果

./bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --verify

  

可以看到,因为log文件过多,导致复制操作还在执行

等待一段时间之后,再次查看执行结果

 

最后查看该Topic状态(RelicationFactor和Replicas的变化),增加成功!

./bin/kafka-topics.sh --zookeeper localhost:2181 --topic activeRecords --describe

 

如果尝试把节点0的kafka停掉,会发现Leader发生了变化

 

另外,中间发生了如下的错误,原因是两边的kafka版本不同,一个是2.10,一个是2.12,在将低版本升级后,问题解决。

Connection to 0 was disconnected before the response was read

  

参考:

kafka官网:http://kafka.apache.org/quickstart

kafka中文学习网站:https://www.w3cschool.cn/apache_kafka/

https://blog.csdn.net/lkforce/article/details/77864472 

https://blog.csdn.net/lzufeng/article/details/81743521

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!