使用hangout将Kafka数据实时清洗写入ClickHouse
什么是Hangout
Hangout可以说是JAVA版的Logstash,可以进行数据收集、分析并且将分析后的结果写入指定的地方
项目地址
什么是ClickHouse
ClickHouse是一个数据分析的数据库,由Yandex开源
项目地址
什么是hangout-output-clickhouse
hangout-output-clickhouse是一个将数据源中的数据实时写入ClickHouse的插件。
项目地址
使用方法
- 从项目release中下载jar包,放置
hangout/modules
目录下 - 插件使用
- com.sina.bip.hangout.outputs.Clickhouse:
host: clickhouse.bip.sina.com.cn:8123
database: apm
table: apm_netdiagno
fields: ['_device_id', '_ping_small', '_domain', '_traceroute', '_ping_big', 'date', 'ts', '_snet']
bulk_size: 500
具体使用方法参考Hangout with Clickhouse
来源:CSDN
作者:Ricky_Huo
链接:https://blog.csdn.net/huochen1994/article/details/78771379