数据治理类数据产品,主要负责数据资产汇总、目录编制、查询、溯源、质量管理、权限管理等。
数据权限
(和数据没有直接关系,所有数据产品的一个组件。功能介绍略。)
元数据
数据集/表、字段、指标、标签、算法模型等数据资产的元数据管理。
数据血缘 Data Lineage
追溯各表各字段的来源依赖、更新时间等信息。一般会用如下 DAG 图的形式展示(图片似乎来自初创公司 alvin)
数据目录/数据地图 Data Catalogue
分门别类地整理企业内各类数据资产,既是数据资产的编目,也是数据使用者的检索目录。一般具备这些功能:
- 元数据管理
- 各数据集的元数据,如数据集/表名称、字段名称、分区方式、存储格式、负责人等。
- 数据预览
- 提供一份样本数据供使用人了解数据内容。还可以提供摘要数据。
- 数据血缘
- 数据生命周期
- 创建时间、归属人、更改记录、更新时间等等。
- 权限管理
- 在多种层级上管理各人员能接触到的信息范围。甚至可以数据权限管控功能融入。
- 目录管理
- 即如何编码、编排这些数据元信息。
国家统计局的数据目录页面:
数据门户 Data Portal
有两种数据门户,类型一是数据搜索引擎,类型二是数据报表等资源的门户,是一体两面的。门户的含义,就是用户以此页面为入口,即可进入到企业数据资源池中。如果数据搜索引擎增加了收藏、我最常用的功能,那么就相当于在类型一上增加了类型二。如果在报表门户上增加了搜索功能,相对于在类型二上增加了类型一。
谷歌公开数据集搜索引擎:
Guandata 的报表门户