Kafka-Connect Debezium 解决History Topic过大导致启动过慢的问题

解决Kafka-Connect History 数据过大的情况：

由于History存放是表结构变更的数据，而且过期时间为无限，所以时间久了，History的topic会变得非常大。

 

首先，配置 database.history.store.only.monitored.tables.ddl = true。该配置根据table filter，来减少记录到history topic的数据。(可以减少很多)

 

最后，如果history topic实在是过大，可以重新创建一个topic，并通过schema_only_recovery来重启connector。由于binlog offset信息存储在connector的topic里面，所以不会触发initial等问题。

 

 

 

 

来源：oschina

链接：https://my.oschina.net/dacoolbaby/blog/3191882