数据中台主要包括有:离线开发,实时开发,离线采集,实时采集,数据标准,数据质量,数据服务,元数据,数据资产,数据标签,商业智能。
每个模块都是一个独立的平台和完整的落地方案,平台的设计参考了DAMA的《数据管理知悉体系指南》第二版,《数据治理》工业企业数字化转型之道,以及《数据中台》等多本书。
数据质量主要包括:质量概览、质检方案、质量监控、规则模板、规则库、质量评估、数据源管理
质量概览
主要是对数据质量平台的数据整体情况的统计分析
质检方案
基于质检规则对数据库进行周期性质量检测,并对检测结果进行质量评分形成质检报告
质量监控
对质检的数据库进行实时的质量监控,对正在执行质检的数据源进行质检方案的质量监控,实时了解质量状况
规则模版
对质检规则形成通用的规则模版,为规则库提供支撑
规则库
根据业务需求形成企业的规则库,按照规则库的内容进行质量检测形成质检方案
质量评估
制定质量评估标准和评估方案,基于评估要求对质检结果进行结果分析
数据源管理
对需要进行质检的数据库进行数据源的管理