产品概述
数据地图主要提供数据检索和展示的功能。支持两种模式,第一种是在数据查询模块直接查找数据,第二种是通过数仓表导引模块按目录查找和搜索hive表。此外,数据地图也支持项目文件和个人文件的回收站功能。
目前数据地图对各类数据源表的支持情况如下:
类型 | 说明 |
---|---|
Hive离线表 | 当前项目组下开放的Hive库表,包含内表、外表、视图表。 |
流表 | 当前项目组下实时计算创建的流表,流表来源类型包括Kafka、Nydus、RocketMQ。 |
MySQL | 当前项目组下登记的MySQL数据源下的表。 |
Kudu | 当前项目组下登记的Kudu数据源下的表。 |
HBase | 当前项目组下登记的HBase数据源下的表。 |
Oracle | 当前项目组下登记的Oracle数据源下的表。 |
Greenplum | 当前项目组下登记的Greenplum数据源下的表。 |
指标 | 已部署指标系统中的所有指标。 |
Topic | 当前项目组下登记的Kafka、Nydus、RocketMQ数据源下的Topic。 |
说明: 数据地图的检索范围为项目组级别,该点需要特别注意,因为对于目前离线开发、任务运维、自助分析等都是按照项目级别作为操作空间的粒度。 |
---|
数据查询
在搜索范围上,支持表/表描述、字段/字段描述、指标的搜索:
- 对于表/表描述搜索,目前支持Hive、Kudu、Hbase、Kafka流表、RocketMQ流表、MySql、Vertica等;
- 对于字段/字段描述搜索,目前仅支持Hive表的;
- 对于指标的搜索,支持搜索指标系统对应的项目组下的所有指标。
在搜索结果的筛选上:
- 对于表/表描述,支持按源类型、项目、库、主题域、表分层、是否核心表等筛选,其中主题域、表分层、是否核心表,目前仅Hive表会有数据;
- 对于字段/字段描述,支持按源类型、项目、库、字段标签等筛选;对于指标,支持按指标类型、以及指标域、二级指标域筛选。
下图为数据查询页面,页面的上方为搜索区,下方显示我的收藏和我的浏览历史数据:
数仓表导引
如果项目开通了模型设计中心的功能,则在数据地图上会有数仓表导引入口,该模块会按照多级主题和分层的方式展示数仓维护的相关表。用户可通过该入口更方便快捷地查找数仓提供的数据。
下图为数仓表导引页面:
回收站
对于项目内表或文件删除时,会进入回收站。如果是个人操作,则会进入个人回收站,如果是项目账号操作,则会进入项目回收站。项目回收站内的文件,项目负责人和管理员可进行恢复操作。个人回收站内的文件,项目负责人、管理员和文件删除者可以进行恢复操作。