数据治理类数据产品,主要负责数据资产汇总、目录编制、查询、溯源、质量管理、权限管理等。

数据权限

(和数据没有直接关系,所有数据产品的一个组件。功能介绍略。)

元数据

数据集/表、字段、指标、标签、算法模型等数据资产的元数据管理。

数据血缘 Data Lineage

追溯各表各字段的来源依赖、更新时间等信息。一般会用如下 DAG 图的形式展示(图片似乎来自初创公司 alvin)
image.png

数据目录/数据地图 Data Catalogue

分门别类地整理企业内各类数据资产,既是数据资产的编目,也是数据使用者的检索目录。一般具备这些功能:

  • 元数据管理
    • 各数据集的元数据,如数据集/表名称、字段名称、分区方式、存储格式、负责人等。
  • 数据预览
    • 提供一份样本数据供使用人了解数据内容。还可以提供摘要数据。
  • 数据血缘
  • 数据生命周期
    • 创建时间、归属人、更改记录、更新时间等等。
  • 权限管理
    • 在多种层级上管理各人员能接触到的信息范围。甚至可以数据权限管控功能融入。
  • 目录管理
    • 即如何编码、编排这些数据元信息。

国家统计局的数据目录页面:
image.png

数据门户 Data Portal

有两种数据门户,类型一是数据搜索引擎,类型二是数据报表等资源的门户,是一体两面的。门户的含义,就是用户以此页面为入口,即可进入到企业数据资源池中。如果数据搜索引擎增加了收藏、我最常用的功能,那么就相当于在类型一上增加了类型二。如果在报表门户上增加了搜索功能,相对于在类型二上增加了类型一。

谷歌公开数据集搜索引擎:
image.png

Guandata 的报表门户
image.png


业内实践案例