一：数据架构

架构原则:水平分层,垂直分主题

数据架构分层:

源数据落地区

数据仓库层

  1.           数据集市层

数据仓库分层:

源数据层

  1.           细节数据层
  3.           汇总数据层

二.数据仓库建模.

数据建模是数据模型的构建和应用数据仓库是数据仓库模型的构建和应用

数仓建模的阶段发展:简单报表->数据集市->数据仓库

  1.                            单一->按需定制,业务化->全面体系化,数据模型支撑

数据建模意义:进行全面业务梳理,改善业务流程

  1.                  建立全方位的数据视角,消灭信息孤岛和数据差异
  3.                  解决业务的变动和数据仓库的灵活性
  5.                  帮助数据仓库系统本身建设

三.如何建模

范式建模法

维度建模法 ——— 星型、雪花型

四.数据分析

OLTP: 联机事务处理:实时性较高,数据量不大,交易一般确定,高并发性

OLAP: 联机分析处理:不要求实时性,数据量大,查询时动态的

数据库ACID四大特性

五:hive对数据的支持

1.分析函数:NTILE,ROW_NUMBER,RANK,DENSE_RANK

2.窗口函数:LAG,LEAD

3.over()从句