观看视频《基于阿里云搭建数据仓库》https://www.bilibili.com/video/av73122769 做的笔记。
数据仓库 data warehouse
为企业所有决策制定过程,提供所有系统数据支撑的战略集合
阿里云产品
DataHub 数据总线 Kafka
MaxCompute 大数据计算框架 Hadoop
DataWorks 可视化MaxCompute的开发管理平台
RDS 关系型数据库 Mysql
QuickBI 可视化数据展示工具 Echarts
ECS 弹性服务器 Linux
数据流程
数仓分层
ODS 原始数据层 存原始数据,不做处理
DWD 明细数据层 对原始数据进行拆分、清洗
DWS 服务数据层 对DWD轻度汇总,组成宽表
ADS 数据应用层 结果数据,为统计报表提供数据
优点
复杂问题简单化 一个复杂任务改成多个,方便定位问题
减少重复开发
隔离原始数据 保持数据原貌
来源:oschina
链接:https://my.oschina.net/u/4455934/blog/3165506