数据治理主要解决的问题:

  • 数据质量问题
  • 数据效率问题
  • 数据标准问题
  • 数据成本问题
  • 数据安全问题

数据治理 = 数据质量治理 + 数据资产治理

数据质量治理:

  1. 及时性
  2. 准确性
  3. 一致性

模型灵活性
数据一致性
元数据治理

物理表查询热度、资源消耗,查询密度等生产使用信息。

体系化数据治理

技术系统:

  1. 数据质量
    1. 统一数仓规范建模

  2. 数据管理
    1. 元数据管理
    2. 主数据管理
    3. 模型管理
    4. 数据资产管理
  3. 数据安全
  4. 数据成本
    1. 计算资源
    2. 存储资源
    3. 日志采集资源

数据质量:

  • 完整性
  • 一致性
  • 有效性
  • 准确性

华为数据之道

解决现有的数据质量问题,保证数据的完整性和时效性,

所有为提高数据质量而开展的业务、技术和管理活动都属于数据治理范畴。数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,形成的一个闭环负反馈系统。
具体一点来讲,数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。

项目介绍
通过数据治理项目的实施和落地,进行企业数据标准的管理,有效提升数据合法性、合规性,进一步提升数据质量,减少数据生产问题;在元数据管理的基础上,进行数据全生命周期管理,有效控制在线数据规模,提高生产数据访问效率,减少系统资源浪费;通过元数据和数据模型管理,将表、文件等数据资源按主题进行分类,可明确当事人、产品、协议等相关数据的主数据源归属、数据分布情况,有效实施数据分布的规划和治理。
工作指责:

  1. 负责设计数仓建模指南,制定数仓研发规范。统一了数仓模型分层,数仓表结构规范和数仓任务调度流程。
  2. 负责指标库项目管理和落地。制定指标规范(主要包括:指标开发规范、基础词根、公共维度、时间周期、指标修饰词、原子指标和衍生指标命名规范),实现了公司指标体系的统一。
  3. 负责重点应用保障项目和小时级别任务优化项目。实现了数据质量保障和数据安全管理。

参考资料:

  1. 美团配送数据治理实践
  2. 美团酒旅数据治理实践
  3. 怎么实现一个数据治理的项目