数据仓库模型分层

时光总嘲笑我的痴心妄想 提交于 2020-01-02 09:22:36
层级 细分 建模方法 说明
ODS   和业务表保持结构一致

同步业务源数据到数仓

DW   实体关系模型
类三范式和雪花模型建模

规划主题域、整合实体和关系;

规范化表名、字段名、字段备注等;

清洗脏数据;

生成通用字典表(地理、时间等);

包含所有业务数据、历史数据

DM dmd 维度建模(星型模型) 按照业务主题整合事实表和维度表;
为了使用方便、明确,放弃雪花模型,以DW的实体和关系组合各种维度表的星型模型
dm  计算模型 基于dmd层开发各种维度的计算指标,以聚合指标为主,也包含一些明细指标
dm_long 长表模型

每一个主题只有一张表,汇总该主题下所有的数据指标;

将指标信息维护在同一的维度字典表(dim_feature_info)中,提供统一管理、使用入口;

适用于聚合指标比较多的主题,可以直接作为dm_wide层的唯一源表;

在dm_wide更新速度跟不上时,直接作为源表支持APP层

dm_wide 大宽表模型

每一个主题只有一张表,整合了一个主题对应的大部分明细数据和通用聚合指标;

作为对外提供数据支持的主要数据层,数据仓库模型的最后一层

ADS   按照业务需求定制

提供个性化的数据指标;

提供复杂的固定报表数据模型;

应用系统专用表,独立,定位和排查线上问题方便,历史可追溯

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!