今天学习大数据采集和导入
任何完整的数据平台一般都有以下几个过程:
数据采集 数据储存 数据管理 输出处理 数据展现
flume架构
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。
了解 flume源 flume拦截器 通道选择器 通道 接收器
来源:https://www.cnblogs.com/yang-qiu/p/12270267.html