数据治理主要解决的问题:
- 数据质量问题
- 数据效率问题
- 数据标准问题
- 数据成本问题
- 数据安全问题
数据治理 = 数据质量治理 + 数据资产治理
数据质量治理:
- 及时性
- 准确性
- 一致性
模型灵活性
数据一致性
元数据治理
物理表查询热度、资源消耗,查询密度等生产使用信息。
体系化数据治理
技术系统:
- 数据质量
- 统一数仓规范建模
- 数据管理
- 元数据管理
- 主数据管理
- 模型管理
- 数据资产管理
- 数据安全
- 数据成本
- 计算资源
- 存储资源
- 日志采集资源
数据质量:
- 完整性
- 一致性
- 有效性
- 准确性
华为数据之道
解决现有的数据质量问题,保证数据的完整性和时效性,
所有为提高数据质量而开展的业务、技术和管理活动都属于数据治理范畴。数据治理涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析,从源头到终端再回到源头,形成的一个闭环负反馈系统。
具体一点来讲,数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。
项目介绍
通过数据治理项目的实施和落地,进行企业数据标准的管理,有效提升数据合法性、合规性,进一步提升数据质量,减少数据生产问题;在元数据管理的基础上,进行数据全生命周期管理,有效控制在线数据规模,提高生产数据访问效率,减少系统资源浪费;通过元数据和数据模型管理,将表、文件等数据资源按主题进行分类,可明确当事人、产品、协议等相关数据的主数据源归属、数据分布情况,有效实施数据分布的规划和治理。
工作指责:
- 负责设计数仓建模指南,制定数仓研发规范。统一了数仓模型分层,数仓表结构规范和数仓任务调度流程。
- 负责指标库项目管理和落地。制定指标规范(主要包括:指标开发规范、基础词根、公共维度、时间周期、指标修饰词、原子指标和衍生指标命名规范),实现了公司指标体系的统一。
- 负责重点应用保障项目和小时级别任务优化项目。实现了数据质量保障和数据安全管理。
