创建稽核监控任务

监控列表页面可对已创建的监控任务进行管理,支持新建、复制、删除、试跑、引用详情等功能。

规则模板管理

监控列表页面,单击规则模板管理可进入质量规则管理页面。系统预置规则模板,也支持自定义模板规则,以便于在创建稽核监控任务时,选择模板直接引用。
image.png
新建规则模板时,需要填写名称、描述和规则代码,规则代码可以使用${column}作为字段名称的占位符,应用规则时,${column}可自动替换为字段名。
系统内置的规则模板不支持删除,自定义的规则模板可编辑和删除(项目管理员和负责人有最高权限,可编辑所有,普通用户仅可编辑和删除自己创建的模板)。

新建稽核监控任务

监控列表页面,点击新建监控可进入监控任务创建页面。

步骤一:设置监控对象

选择需要监控的库表,若表为分区表,也可以选择具体的分区进行监控,监控名称默认由dqc_开头,拼接库和表的名称,允许修改。
image.png
说明: 一张表(非分区表)只能创建一个监控任务,分区表若有多个分区,可针对不同的分区创建多个监控任务,但同一个分区,也只能创建一个监控任务。

步骤二:设置监控规则

点击下一步进入规则设置页面,点击新建规则,针对字段级和表级均可设置监控规则。
image.png
模板规则页签下,若选择了字段级,可选择需要监控的字段名和已经配置好的规则模板、填写期望范围、设置期望规则命中行数或者规则命中行数比率(两个指标中至少配置1项)。配置规则控制,选择当前监控规则为强规则还是弱规则,若为强规则,当规则不通过时,任务会置为失败状态,停止运行;若为弱规则,当规则不通过时,任务会继续运行。
若选择了表级别,提供主键唯一性、表行数和表行数波动率的规则模板可供选择。
image.png
若规则模板不满足需求,可在自定义规则页签,针对字段级书写SQL语句。
image.png
image.png
若对字段还有其他处理逻辑,比如需要有where语句,需要做sum操作等,可以在自定义SQL中书写SQL语句实现。
image.png

步骤三:试跑监控任务

监控任务创建完成之后,支持对监控任务执行试跑,以查看监控规则结果是否符合预期。点击试跑,可以选择试跑任务执行的队列,当试跑成功或失败时支持多种方式的通知。
image.png

步骤四:查看试跑执行结果

执行实例页面中,可以查看全部的监控任务详情,可以通过筛选实例类型试跑,查看试跑的实例,在操作栏,通过点击运行结果,可查看监控任务下规则的执行情况,若不符合预期,可以对监控规则进行调整后,再在离线开发中使用。