配置质量监控

编辑完任务后,可对任务进行质量监控的配置。目前支持对SQL节点、MySQL节点、Vertica节点进行质量监控。主要的作用是对产出的数据进行数据校验,比如产出唯一性、表行数、某些特定记录的记录数波动等进行检测,当出现异常时,及时阻断任务执行,防止下游被错误数据污染。
质量监控配置步骤如下:

  1. 质量监控的配置前提需要在数据质量中心创建质量监控任务
  2. 右键单击节点,选择配置质量监控
  3. 在弹出的页面,进行监控的绑定,如果没有配置质量监控任务,可单击前往数据质量中心进行配置;
  4. 配置执行失败策略,当前支持当监控任务失效时终止本任务或继续下游调度。

image.png

对于质量监控,支持强规则弱规则的设置,如果质量监控中配置了强规则,而检测结果为异常不通过,则当前节点在执行时,也会变为失败。比如,设置某个表的主键唯一性校验为强规则,而实际当前节点某一次执行时,因为上游数据异常,导致主键不唯一,则当前节点会因为质量监控不通过,而变为失败。更多关于质量监控的说明,可前往数据质量中心查看。
配置完质量监控后,可在节点上看到质量监控的图标:
image.png