分层概念
ODS:原始数据层,存放业务原始数据;
DWD:明细数据层,对原始数据进行清洗,如去空值、日期格式转换、数据脱敏、脏数据处理等;
DWS:数据服务层,对明细数据层进行轻度汇总;
DWT:数据主题层,以DWS层为基础,进行数据累计汇总;
ADS:数据应用层,为数据应用提供数据、指标等;
分层的意义
1.把复杂问题简单化,庞大混杂的业务数据 清洗为简洁清洗的运营数据;
2.减少重复研发,对定期重复查询数据进行程序化处理;
3.使用数据与原始数据解耦,与运行中的业务数据隔离,在新的环境将复杂的业务数据转化为运营指标数据;
数仓理论
关系建模(OLTP)
第一范式:属性不可分割
第二范式:没有不完全函数依赖
第三范式:没有传递函数依赖
维度建模(OLAP)
维度表:事件的描述信息
事实表:事实表中每行数据代表一个事件。
星型模型和雪花模型 区别主要是在于维度层级,星型模型维度只有一层,而雪花模型可能会涉及多级;雪花型比较接近3NF。