基于阿里云搭建数据仓库 视频笔记(一)阿里云产品与数仓分层

安稳与你 提交于 2020-02-27 15:20:38

观看视频《基于阿里云搭建数据仓库》https://www.bilibili.com/video/av73122769 做的笔记。

 

数据仓库 data warehouse

为企业所有决策制定过程提供所有系统数据支撑的战略集合

 

阿里云产品

DataHub 数据总线 Kafka

MaxCompute 大数据计算框架 Hadoop

DataWorks 可视化MaxCompute的开发管理平台

RDS 关系型数据库 Mysql

QuickBI 可视化数据展示工具 Echarts

ECS 弹性服务器 Linux

 

数据流程

 

数仓分层

ODS 原始数据层 存原始数据不做处理

DWD 明细数据层 对原始数据进行拆分清洗

DWS 服务数据层 DWD轻度汇总组成宽表

ADS 数据应用层 结果数据为统计报表提供数据

 

优点

复杂问题简单化 一个复杂任务改成多个方便定位问题

减少重复开发

隔离原始数据 保持数据原貌

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!