建设目标 系统功能架构 系统流程图

建设目标

1. 环境搭建完整，技术选型合理，框架服务分配合理。
2. 信息流完整，应包括数据生成、数据采集、数据仓库建模、数据即席查询。
3. 能应对海量数据的分析查询。
4. 实现元数据管理。

   系统功能架构

   数据仓库系统主要分为4个功能模块：数据采集、数据仓库平台、数据可视化和即席查询。
   以下以该数据仓库系统功能模块进行理解。
   

   系统流程图

   前端埋点用户行为数据，经生产层Flume Agent 、Kafka、消费层Flume Agent 落盘到HDFS中，业务交互数据经Sqoop采集到HDFS中，HDFS中的数据经过Hive的相关操作，将数据进行提取转换，形成合理分层，最终得到需求结果数据，将数据导出到Mysql中，实现数据可视化，并提供即席查询服务。

数据仓库系统主要流程如下图所示。