数据质量

完整性

表级别：表行数
字段级别：null值数、

准确性

指标是否正常：指标的波动率
字段级别：字段最大值最小值、符合正则表达式的数量
毫秒时间戳是否为13位等

一致性

不同层的数据要一致： ods到dwd一致性检查 dwd到dws一致性检查
单位统一、枚举值统一：男女male、浙江ZJ

及时性

每层数据有没有延时产出

create table table_increment(
    data_date string comment '数据时间分区dt',
    database_name string comment '库名',
    table_name string comment '表名',
    table_type string comment '表类型（全量/增量）',
    add_count bigint comment '当日新增数量的记录数',
    null_count bigint comment '表空值记录数',
    duplicate_count bigint  comment '表重复值记录数’,--不重要
    total_count bigint comment '全表记录数'
)
create table dwd_table_data_check(
    data_date string comment '数据时间分区dt',
    source_database_name string comment '数据源库库名',
    source_table_name string comment '数据源表表名',
    source_column string comment '数据源表字段名',
    target_database_name string comment '数据目标库库名',
    target_table_name string comment '数据目标表表名',
    target_column string comment '数据目标表字段名',
    consistent_data_count bigint comment '全表数据一致记录数',
    source_table_count bigint comment '数据源表全表记录数', 
    target_table_count bigint comment '数据目标表全表记录数', 
    target_duplicate_count bigint  comment '数据目标表重复值记录数'
);