使用hangout将Kafka数据实时清洗写入ClickHouse

拟墨画扇 提交于 2019-12-03 16:28:04

使用hangout将Kafka数据实时清洗写入ClickHouse


什么是Hangout

Hangout可以说是JAVA版的Logstash,可以进行数据收集、分析并且将分析后的结果写入指定的地方
项目地址

什么是ClickHouse

ClickHouse是一个数据分析的数据库,由Yandex开源
项目地址

什么是hangout-output-clickhouse

hangout-output-clickhouse是一个将数据源中的数据实时写入ClickHouse的插件。
项目地址

使用方法

  • 从项目release中下载jar包,放置hangout/modules目录下
  • 插件使用
- com.sina.bip.hangout.outputs.Clickhouse:
        host: clickhouse.bip.sina.com.cn:8123
        database: apm
        table: apm_netdiagno
        fields: ['_device_id', '_ping_small', '_domain', '_traceroute', '_ping_big', 'date', 'ts', '_snet']
        bulk_size: 500

具体使用方法参考Hangout with Clickhouse

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!