上一节介绍的是业务调研阶段,该阶段主要介绍数仓要做成什么样子,数仓的目标是什么?
这节介绍数仓是什么,怎样构建数仓。数仓的构建,自己总结下来分布5个步骤。
- 总线矩阵
- 宏观矩阵+微观矩阵、分主题、分层。
- 目的:对业务有个整体建模设计,方便分工,从顶层对数仓把控。
- 指标体系构建
- 指标构建流程,指标是如何产生的,怎样拆解业务过程产生指标。
- 维度建模
- 业务需求文档整理+数据探查。
- 高层次模型设计、详细模型设计(维度、事实表设计)。
- 模型审查、输出设计文档。
- 架构设计
- 采集方案,存储方案,计算方案,查询方案。
- 数据开发
- 规范制定
- 分层、表名、字段规范。
- 任务、调度、代码开发规范。
- 数据质量
- 机制:代码回退机制,任务调度、回跑机制。
- 监控:告警机制,核心抽取数据、核心业务过程指标监控。手工维护表监控。
- 元数据管理:业务过程文档、数据建模文档(沉淀文档,提供说明)。