分层配置

分层是对数仓团队的表进行组织管理的另一个维度。对于数仓建设而言,从数据源中接入源头数据后,需要按照一定规则,划分不同的层次来组织承载不同功能和定位的数据表。
目前分层配置共分为两部分:系统预置分层自定义分层。系统预置了6个分层,分别是ods-原数据层、dwd-明细层、dim-维表、map-桥阶层、dws-汇总层以及ads-应用层。

配置介绍

分层配置页面,单击新建自定义分层按钮或对已存在的分层进行编辑,可进入配置页面,页面如下所示。
image.png

选择控制

所有分层都支持进行选择控制的设置。通过选择设置当前项目组中项目下的角色,能实现在创建建表工单中,只有这些角色中的人员才能选择该分层。该配置一般用于将不同的分层分配给不同的团队或部门维护。不设置,则所有人都可以选择。

说明:将团队A的角色添加到dwd层的选择控制中,那么团队A的成员在新建表时能够选择dwd层,而其它角色下的成员将无法选择。

表抓取规则

所有分层都支持表抓取规则的设置。设置后系统会定时把符合规则的表抓取并显示在主题域未分组(系统)中。在未分组中,将显示所有被抓取且未设置主题域的表。此外,数仓建设概览页面中的数据,也依赖于该抓取规则的设置。
表抓取规则分为命中规则剔除规则,规则内容可通过正则表达式进行表示。
image.png

说明:表抓取规则仅针对未设置分层的表,对已经设置了分层的表不起作用。

允许建表的库


所有分层都支持设置该分层只能在哪些数据库中创建表。比如设置明细层(dwd)只能在dwd这个数据库下创建表,则用户在创建建表工单中,表分层选择dwd-明细层时,如果用户有dwd库的建表权限,则可以选择dwd库,如果没有,则无法继续建表。这种限制可以保证有权限的用户在数仓规定的数据库内创建对应的分层的表。
此处填写对应的数据库名称,支持填写多个。
分层配置 - 图3

自动审批


数仓管理员可设置各层是否自动审批。例如,对dwd层开启自动审批功能,则在创建dwd层表的时候,工单将自动完成审批操作。

项目权限建表


项目权限建表功能,针对需要约束开发人员的建表权限,防止开发人员在自助分析页面中建表,而不通过模型设计中心走建表工单的问题。比如数仓管理者设置了dwd-明细层仅能在dwd库下建表,用户user1无dwd库的建表权限,则用户如果需要在dwd库下创建明细表,则在自助分析下建表就会失败,但是可以通过模型设计中心创建工单,由审批人员来审批通过后实现。
开启项目权限建表功能,需要满足以下两个条件:

  1. 未开启自动审批;
  2. 设置了允许建表的库。

开启后,用户在创建建表工单中选择表的所属库时,可以选择所在项目下与允许建表的库一致的库(即使用户本身没有该库的建表权限),工单审批者在工单详情页也会查看到项目权限建表的提醒。