-> 数据架构设计


-> 数据架构设计
2019年10月17日
17:58

  • 数据架构设计
    • 数据驱动架构
  • 系统数据架构需要统一规划信息数据，实现数据标准化，保证数据的一致性、准确性、及时性，明确元数据和主数据管理，实行生产与分析数据的分离，增强数据的深度挖掘应用能力，以满足政府管理、运营、操作的各个层面的数据需求。平台既要满足事务型数据需求，又要满足分析型数据需求。本系统数据架构应满足数据分层的基本原则。具体来讲，数据架构分为STG数据层，ODS数据层、DW数据层、DM数据层、数据共享层、元数据层，如下图所示：
  • 数据架构设计 - 图1
    • STG数据层
  • STG层数据主要用来进行数据缓冲处理，是内部数据整合的基础，原则上增量抽取，支持接口表、文件等多种方式分布式采集。STG层存储的是统一采集平台从源系统采集的数据，其主要特点如下：
    1. STG层存储平台存储的外围系统数据采集后直接存放到STG 数据层中。
    1. STG层的数据模型与外围系统保持一致。
    1. STG 层的数据与外系统保持实时/准实时同步，对于有实时要求的数据域，应尽可能提高数据的实时性。
    1. STG层的数据不参与数据共享。
      • ODS数据层
  • ODS层按照政府数据模型进行落地，主要是明细数据，对于行政、流程等数据全量保存，流水事件数据保留3个月。ODS数据层存储经过清洗、转换、整合后的数据，是系统的基础数据层，其主要特点如下：
    1. ODS层是平台的基础数据层，平台的数据共享、分析应用要基于整合层数据。
    1. ODS层中的数据编码原则上和数据源系统保持一致，
    1. ODS层的数据模型遵循概念模型规范，按主题域组织数据，刚性落地概念模型。
      • DW数据层
  • DW数据层存储根据生产需求形成的政府部门运营的统计、汇总后的数据，其主要特点如下：
    1. DW数据层存储市粮食局运行过程的分析应用数据或报表加工结果。
    1. DW层按主题存储汇总数据，通过日期、行政流程、区域等维度对数据进行计算后形成汇总数据。
    1. DW层数据具有嵌套属性，可根据需要基于已经存在汇总数据，对汇总数据继续汇总，形成多级汇总数据。如日指标统计形成后存放到汇总层，再次汇总后形成周指标统计。
    1. DW数据层的数据需要在平台内长期保留。
      • DM数据层
  • DM数据层是系统的重要组成部分，是根据分析挖掘应用需求抽取ODS相关数据所形成的数据集合（数据集市），主要用于专业化支撑政府部门各角色人员数据分析、自助取数、行政监督、预警分析等应用。
    • 共享数据层
  • 数据共享层基于系统中收敛整合或汇总的数据，对外提供数据共享，数据共享层原则上不存储数据，其主要特点如下：
    1. 数据共享层统一对外系统提供共享数据。
    1. 数据共享层对各系统共享的数据，应从整合数据层和数据汇总层进行映射、共用。
    1. 数据共享层可提供数据视图、小批量数据同步、大批量数据同步以及数据实时查询等数据共享方式。
      • 元数据层
  • 元数据（Metadata）是关于数据的数据，是对数据的含义、功能、来源的描述。元数据的应用和管理水平直接体现了政府的数据建模能力和数据分析应用水平，系统元数据层包括在系统建设过程中所产生的有关数据源定义，目标定义，转换规则，数据共享规则和数据质量检查规则等相关的元数据。元数据可以帮助政府使用人员方便地找到他们所关心的数据，并帮助使用人员和系统管理人员更好地使用数据以及对系统进行维护。按照元数据的使用对象以及作用的不同，可以将元数据分为业务元数据、技术元数据、关系型元数据和操作型元数据。元数据应结合平台的数据收敛过程，深度挖掘数据内在关联，逐渐完善、提高元数据层的规模和应用程度。
  • 元数据层的主要特点如下：
    1. 元数据层中的元数据贯穿整个系统构建、运行和维护的整个生命周期。
    1. 元数据是描述系统内数据的结构、建立方法和处理规则的数据。
    1. 系统中的元数据应进行集中管理和控制，以保证系统中信息的一致性和准确性。

  • 系统应能从元数据中发现任何变化给全局带来的影响，确定某个实体的用途和与其它实体的关联。


    已使用 Microsoft OneNote 2016 创建。