表设计工单管理

该页面提供对Hive表新建和修改的功能，通过工单的形式完成表的新建和修改，可实现线上化的规范建模。

表设计工单管理包括与我相关和全部两部分，用于展示创建表工单和修改表工单。此外，与我相关页面还提供了未提交、待审批、被驳回、待我审批和已通过五个页签，当前用户可在不同页签下查看和处理工单。

创建建表工单

创建建表工单支持两种建表模式：直接建表和批量上传建表。

直接建表

直接建表分为四个步骤，如下：

  1. 表的分层、归属库以及主题归属的配置；
  2. 表名配置；
  3. 表的字段名称、类型、描述、主键、字段标准化标签（维度、度量、指标）的配置；
  4. 表的属性配置，比如是否核心表、是否Impala同步、表类型（内部表和外部表）、存储格式等。

表的分层、归属库以及主题归属的配置

对于数仓开发人员而言，首先需要明确当前建表操作需要构建哪一分层的表，该表应当归属到哪个主题，应当在哪个库下建表。可通过查看分层和炫酷说明查看各分层的设置。

配置参数 说明
表分层 选择需要表所属的分层，用户只能选择有权限建表的分层。
库 选择表所属的数据库，用户只能选择有权限建表的库。
主题归属 1. 展示当前用户可选择的主题及其子主题，且选择时需要选择到末级主题。
2. 对于没有子主题的主题域，会置灰不可选择。
3. 如果某个主题域或子主题设置了选择控制，仅允许部分角色可选择，则在下拉列表中不会显示该类主题域或子主题。
说明：
1. 在设置表的主题归属模式上，不同分层的设置方式不同。dim-维表层需通过选择关联维度来获取维度所属的主题域，并作为表的主题归属。
2. 对于非dim层，可通过直接选择一个或多个主题域下的子主题（不能直接归属到主题域）。

表名配置

系统支持事先定义表名的拼接规则，可在表设计规则管理页面对各分层的命名规则进行定义。定义了表名规则之后，进行建表时，表名必须按照该分层的表名拼接规则来进行，从而实现表名规范的落地。
表设计工单管理 - 图1
表字段信息配置

表字段信息配置共有三种模式：表单模式、SQL模式以及DML模式。

  • 表单模式：
    该模式下，用户需要设置字段名称、选择字段类型、设置描述、设置表主键、标准化标签等。其中，不同的分层可配置的标准化标签信息如下： | 分层名称 | 可配置项 | | —- | —- | | dim-维表 | 可配置维度。 | | map-桥阶层 | 可配置维度。 | | dwd-明细层 | 可配置维度和度量。 | | dws-汇总层、ads-应用层、自定义分层 | 1. 可配置维度和指标。
    2. 可添加间接关联指标，如添加可通过表的已关联的指标计算得到的指标。 |
说明：
1. 除dwd-明细层中多个字段可配置到相同的维度外，其它层中所有的维度、度量、指标均只可关联一次。
1. 针对可关联到维度和指标的字段，可通过先选择维度和指标的方式，来将对应的维度英文标识或指标标识填充到字段名称中，从而实现更快捷的字段名称的命名，也能将一些命名规范落地到表的设计当中。如果字段名称已经设置，也可以通过字段名称辅助设置功能来替换已有的命名。

如果在表设计规则管理中设置了字段附加列配置，则在此处会显示附加的字段，根据要求进行配置。如果当前字段是枚举字段，则可以在枚举值一栏中输入枚举项，后续可在数据地图界面查看。
表设计工单管理 - 图2

  • SQL模式：
    在SQL模式下，目前支持Hive和Impala两种引擎，并提供了建表模板。完成DDL创建之后，单击生成表结构按钮，会进入到字段信息配置页面，页面配置项基本和表单模式下的一致。
    表设计工单管理 - 图3
  • DML模式：
    DML模式下可以通过创建DML的方式来生成最终的表、字段及DML语句。通过DML模式创建的表，可以直接复制DML语句在离线开发中创建任务使用。
    DML模式通过完成表之间相互关联的方式（有left outer join、left semi join、join三种表连接方式）完成DML语句的构造。
    表设计工单管理 - 图4

表的属性配置

表的属性配置包括业务属性配置和基础属性配置。
业务属性配置主要是指是否开启核心表和推荐表标记：

  • 核心表：开启该功能后，表会被标记为核心表，在表名旁边显示图标表设计工单管理 - 图5。
  • 推荐表：开启该功能后，表会被标记为推荐表，在表名旁边显示图标表设计工单管理 - 图6。

基础属性配置是对表的基础属性进行配置，该配置信息的默认数据来源于表设计规则管理中对每个分层的建表默认项设置。
配置完上述四个步骤后，即可提交工单。如果工单的所属分层配置了自动审批，则系统会自动通过工单并开始建表。如果未设置自动审批，则该表的所属主题审批人会接收到创建表工单申请，审批者审批通过后，系统会自动进行建表。
完成建表后，表将会在主题域页面中对应的分层和主题下出现。同时，在数据地图产品的数仓表导引页面中，也会同步显示该表。

批量上传建表

批量上传建表需要通过下载xls模板，并根据要求填写模板内容，然后上传附件，系统则会自动解析其中内容。解析到的每个库表都会生成一条记录，用户可以预览这些记录的详情，系统会自动扫描其相关信息。如果没有异常，用户可以选择提交工单。工单提交后，会和原来的直接创建工单的方式一样，生成一个工单记录。之后，用户可以将任务提交上线，进而开始工单的审批流转。
表设计工单管理 - 图7

创建修改表工单

该功能用于对已存在的表进行非分区字段新增，使用该功能时需要注意以下几点：

  • 对于已有归属主题的表，新增的字段需要设置对应的标准化标签，并走工单审批流程。
  • 对于未归属主题的表，系统会自动进行审批。

  • 修改表时，用户仅能操作有修改权限的表，否则会导致工单审批失败。

    级联更新

    级联更新功能指的是在执行新增字段操作时，是否执行级联。

  • 对于分区表，开启级联更新表示会级联更新已有分区中的元数据；

  • 对于分区表，关闭级联更新表示不级联更新，后续只会更新新生成的分区的新增字段。对于分区量非常多的表，不建议开启。

    不合理命名表清单

表设计工单管理设置了一个不合理命名表清单模块，该模块会展示被各表分层抓取出来的，但是不符合表命名规则的表，支持excel导出。数仓开发人员可根据该模块提供的信息进行表的治理。