04鲸智WhaleDI数据工厂_操作手册V7 (1).docx 
数据工厂(上云版本)基于业务场景的全流程操作手册 (1).docx

浩鲸-全栈数据工厂(推荐)

功能架构

浩鲸-全栈数据工厂(推荐) - 图1
浩鲸-全栈数据工厂(推荐) - 图2

数仓规范(设计工作台)

在信息化建设过程中,首先要树立标准先行的指导思想,做好顶层设计和总体规划。在数据规划中,采用元素管理、数据字典管理和元数据管理,可以方便地规范数据资源,规范对描述和引用信息资源的方式和方法。

  • 元素管理:定义标准的分层、分域、实体、账期、编码规则等类型。
  • 主数据管理:对主要业务元数据、技术元数据管理,方便使用即时查询对应元数据描述。
  • 编码规则:对编码规则要求定义。
  • 字段管理:对每张模型表的每个字段进行管控。
  • 数据实体管理:管理信息资源所涉及的元数据实体或元素。

浩鲸-全栈数据工厂(推荐) - 图3
浩鲸-全栈数据工厂(推荐) - 图4

01数据架构设计

浩鲸-全栈数据工厂(推荐) - 图5

02 字段库管理

浩鲸-全栈数据工厂(推荐) - 图6
浩鲸-全栈数据工厂(推荐) - 图7

03 模型管理

浩鲸-全栈数据工厂(推荐) - 图8
浩鲸-全栈数据工厂(推荐) - 图9
浩鲸-全栈数据工厂(推荐) - 图10
浩鲸-全栈数据工厂(推荐) - 图11
浩鲸-全栈数据工厂(推荐) - 图12
浩鲸-全栈数据工厂(推荐) - 图13

04 数据字典管理

浩鲸-全栈数据工厂(推荐) - 图14
浩鲸-全栈数据工厂(推荐) - 图15

05 数据元数据

数据接入(集成工作台)

浩鲸-全栈数据工厂(推荐) - 图16
浩鲸-全栈数据工厂(推荐) - 图17

01 数据源配置

可按照数据来源主体进行目录分类,比如家乐福一个目录,交易中台一个目录,进而将来源主体相关的数据源都登记注册在数据源管理下;
浩鲸-全栈数据工厂(推荐) - 图18
| 体验不好,既然是数据接入,就不应该有数据计算类型的任务放这里;建议这里只放数据同步环节应该支持的任务类型;(如下数据)
浩鲸-全栈数据工厂(推荐) - 图19
浩鲸-全栈数据工厂(推荐) - 图20
浩鲸-全栈数据工厂(推荐) - 图21
浩鲸-全栈数据工厂(推荐) - 图22
浩鲸-全栈数据工厂(推荐) - 图23

02 任务管理

通过任务管理,将数据搬迁,数据计算、数据稽核等多种类型的程序任务,实现统一管理及提供一致标准的执行环境。任务管理只管理最终生成的程序代码结果,对整个数据采集、数据加工的开发过程不涉及。
全程调度的任务引擎与程序任务直接对接,当任务执行对应的任务触发后,即执行对应的任务程序,程序将在Slave角色的节点执行,执行过程的日志信息、状态等通过全程调度的日志等功能监控跟踪;
浩鲸-全栈数据工厂(推荐) - 图24
| 功能拆的太散

数据开发(开发工作台)

浩鲸-全栈数据工厂(推荐) - 图25
浩鲸-全栈数据工厂(推荐) - 图26
浩鲸-全栈数据工厂(推荐) - 图27
浩鲸-全栈数据工厂(推荐) - 图28

01 离线/实时开发

这里的开发平台,重点做的是运维,比如表查看这些,感觉不是很友好,完全可以像苏宁这样,将数据开发的东西集中到任务管理平台(如下图);所以数据计算功能不在描述,这里重点描述,指标开发和标签开发;
浩鲸-全栈数据工厂(推荐) - 图29
浩鲸-全栈数据工厂(推荐) - 图30
浩鲸-全栈数据工厂(推荐) - 图31

02 指标开发

浩鲸-全栈数据工厂(推荐) - 图32

03 标签开发

浩鲸-全栈数据工厂(推荐) - 图33

调度运维(运维工作台)

浩鲸-全栈数据工厂(推荐) - 图34
浩鲸-全栈数据工厂(推荐) - 图35
浩鲸-全栈数据工厂(推荐) - 图36

数据资产(资产管理平台)

浩鲸-全栈数据工厂(推荐) - 图37