数据仓库设计规范
为了解决数据仓库建设过程中出现的各种痛点,我们从模型与规范两个方面进行建设,并提出设计统一归口。 1. 模型 规范化模型分层、数据流向,从而降低研发成本,增强指标复用性,并提高业务的支撑能力。 1.1. 模型分层 为了保证数据层的稳定又要屏蔽对下游的影响,并且要避免链路过长,我们将分层进行统一定义为四层: ODS(Operational Data Store):定义为存储层,仅以技术手段(存储快照形式)保留历史数据,不作任何转换,与业务侧db实体保持同构。 DWD(Data Warehouse Detail):定义为明细层,对数据进行规范化(编码转换、清洗、统一格式、脱敏等),不做横向整合。 DWB(Data Warehouse Basic):定义为汇聚层,集中建设通用性维度和指标,降低业务需求开发成本。 DWS(Data Warehouse Service):定义为主题宽表层,对DWD、DWB各信息进行联合整合。 APP:定义为应用层,面向业务需求进行定制开发。 DIM(Dictionary Data Layer):定义为维度表。 TMP:定义为中间层临时表(建议在一定的周期内删除)。 BAK:定义为备份表。 1.2. 模型数据流向 稳定业务按照标准的数据流向进行开发,即ODS–>DWD–>DWB–>DWS–>APP或者ODS–>DWD–>DWB–>APP。