• 数据集成：作为大数据平台上下云的核心枢纽，将不同系统的数据相互打通，实现数据自由离线或实时流动， 并致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力，繁杂业务背景下的数据同步解决方案。
• 数据综合治理：数据综合治理涵盖资产全景、数据地图、智能监控、数据质量、数据安全、资源优化等多个功能模块，提供多种聚焦视角来助力构建、管理数据，洞察和挖掘数据价值。可有效支撑离线大数据仓库构建、数据联邦查询和处理分析、海量数据低频交互式查询&智能报表构建和数据湖方案落地。

一、数据分析/挖掘

1、一个完整的数据分析流程

1.1 问题界定

• 边界：明确问题的边界：业务目标、分析目标、结果导向；
• 确定业务的关键指标和逻辑：逻辑细分、维度界定、业务关键指标；

• 初步定性分析和定量分析：定性分析、定量分析、明确分析模式。

  1.2 分析模型

• 基于经典模型

  • 5W2H、SWOT、4P管理模型、STAR模型、波士顿五力模型等。

• 基于业务模型

  • 用户画像、销售影响因素、AARRR流量模型、零售人货场。

    2、数据库基本操作

    2.1 数据库类型：

• 关系型数据库：Mysql、Oracle、SqlSever

• 键值存储数据库：Redis
• 列存储数据库：HBase
• 面向文档数据库：MongoDB、CouchDB、 Terrastore、RavenDB和OrientDB等
• 图形数据库：Neo4J、ArangoDB、OrientDB、FlockDB、GraphDB、InfiniteGraph、Titan和Cayley等

• 搜索引擎存储：Solr和Elasticsearch等

  2.2 SQL基本语句

  具体SQL操作请参考本文档体系SQL部分

  3、统计学基础

  3.1 描述性统计

  集中趋势：均值、中位数、众数
  离散趋势：极差、方差、四分位值、四分位距

  3.2 推断型统计

• 概率分布：几何分布、二项分布、破松分布、正态分布

• 假设检验
  1. 确定要检验的假设
  2. 选择检验统计
  3. 用于做决策的拒绝域
  4. 求检验统计量的P值
  5. 样本结果是否位于拒绝域
  6. 作出决策

     4、数据分析与建模

     4.1 数据分析三种类型

     描述性数据分析
     探索性数据分析
     预测性数据分析

     4.2 数据预处理/清洗

     | 数据问题 | 常见方法 | | —- | —- | | 重复值 | 删除 | | 空缺值 | 删除或补全 | | 异常值 | 删除或修复 | | 不一致数据 | 数据统一、修复 | | 非法值 | 数据统一、修复 | | 无量纲化 | 极值化、标准化（最常用）、均值化和标准差化方法 |

4.3 数据分析方法

• 描述性统计
• 假设检验
• 信度分析
• 列联表分析
• 相关分析
• 方差分析
• 回归分析
• 聚类分析
• 判别分析
• 主成分分析
• 因子分析
• ROC分析
• 时间序列分析
• 生存分析
• 对应分析
• 决策树分析

  5、常见业务分析模型

  5.1 RFM模型
  围绕客户近期消费时间（R）、消费频率（F）、消费金额（M）三维度对客户分类，对不同客户有针对性营销。
  
  5.2 ABC分类模型
  二八定理，分析哪些项目/产品/客户贡献了大部分价值，重点维护。

5.3 漏斗模型
描述将潜在客户逐步变为客户的转化量化模型，分环节层层量化，并量化相邻环节转化率，以针对性提升各环节。

5.4 波士顿矩阵
通过销售增长率和读占有率来分析决定产品结构。

更多分析模型或方法请参考本文档体系的思维模型部分

6、可视化图表

6.1 可视化图表应用

具体请参考本文档体系的可视化部分。

6.2 数据可视化报表逻辑

1. 项目背景：简述项目背影，有什么问题，分析目的是什么。
2. 现状描述：对当下的数据结果进行阐述，描述性呈现。
3. 提出假设：提出可能存在哪些问题的假设。
4. 分析思路：将问题细化到指标，再按不同维度层层分解。
5. 数据解释：数据来源，如何取样，指标如何定义等科学解释。
6. 结果呈现：呈现数据分析结果，验证假设是否正确。
7. 分析结论：汇总数据分析的主要结论。
8. 建议：数据结论结合业务，提出问题并给出改进方案。

   7 数据分析常用工具

   不同的场景、业务和团队资源会有较大的差异。最通用的工具就是Excel+SQL+Python。

数据挖掘的商业应用

• 需求确认：源于业务、终于业务、价值明确、应用明确
• 数据收集：内部生产数据、内部业务数据、外部保密数据、外部公开数据
• 数据处理：数据真实性、数据逻辑、数据校正、数据清洗
• 数据分析：相关性、数据分布、维度统计、粒度统计
• 特征工程构建：值处理、特征组合、特征选择
• 模型构建：分类、聚类、回归、NLP、时间序列、关系规则
• 模型应用：模型调用、特征调用、数据自更新、模型自学习
• 业务应用：人为先行、算法先行、业务融合、应用自适应

  二、可视化报表/BI

  1、企业数据分析

  1.1 企业数据分析能力金字塔

  

  1.2 数据价值流向

  | 数据不可见 | 业务系统 | 传统数仓 | | —- | —- | —- | | 数据可见 | 报表中心 | 大数据平台 | | 数据可用 | 指标体系 | 报表集市 | | 数据价值 | 综合数据应用 | 管理驾驶舱 |

1.3 企业数据分析全景

总览：综合绩效分析、关键业务指标、业务预算执行监控、应收账龄与周转、业绩地图、供应链运营监控

1.4 战略经营管理平台功能框架

某软件某公司基于战略经营管理闭环搭建的平台功能框架

2、报表体系

2.1 报表规划

2.2 报表规划维度

2.3 以绩效为核心的报表体系

三、数据平台

1、数据平台介绍

1.1 为什么搭建数据平台

• 性质：用于整合数据，计算、处理、存储数据，输出数据应用的平台
• 价值：赋能业务，构建企业数据模型，输出报表、数据分析，提供数据服务等。

  1.2 数据平台演进

  
  数据仓库、大数据平台、数据中台

1.3 功能架构

1.3.1 数据仓库通用功能架构

1.3.2 大数据平台功能架构

1.3.3 数据中台功能架构

示例

2、数据中台

1、数据中台架构与数据治理流程

2、数据资产体系——规划

2.1 数据资产体系管理架构

2.1 数据资产管理规范

• 数据治理框架 | 管理办法 | 管理流程 | 技术规范及模板 | | —- | —- | —- | | 数据标准管理办法
  种类数据标准管理细则 | 数据标准管理相关流程 | 数据标准需求审批表 | |
  - 数据质量管理办法
  - 数据录入维护管理办法
  - 数据模型管理办法
  - 元数据管理办法
  - 数据流管理办法
  - 主数据管理办法
  - 数据安全管理细则
  - 外部数据管理办法
  - 历史数据归档管理办法
  |
  - 数据质量管理流程
  - 数据模型管理流程
  - 元数据管理流程
  - 数据流管理流程
  - 主数据管理流程
  - 数据安全管理流程
  - 外部数据管理流程
  - 历史数据归档管理流程
  
  |
  - 数据质量度量规则及检验方法模板
  - 数据模型设计评审备案申请表
  - IT系统改造、新建或变更股产元数据管理审核单
  - 元数据专项服务需求审批单
  
  | |
  - 数据平台数据交换管理办法
  - 数据平台运维管理办法
  - 数据平台ETL开发管理细则
  - 数据集市管理办法
  - 数据仓库管理办法
  - 数据库统一运维管理办法
  
  |
  - 数据平台数据交换管理相关流程
  - 数据平台运维管理相关流程
  - 数据平台ETL开发管理相关流程
  - 数据集市管理相关流程
  - 数据仓库管理相关流程
  - 数据库统一运维管理相关流程
  |
  - T系统改造、新建或元数据日常变更通知单
  - 数据交换需求审批表
  - ETL编写规范
  | |
  - 报表需求管理办法
  - 数据服务管理办法
  - 数据应用手工数据补录管理办法
  - 管理驾驶舱系统数据管理实施细则
  - 开放数据服务支持系统管理细则
  |
  - 报表需求管理相关流程
  - 数据服务管理相关流程
  - 数据应用手工数据补录管理相关流程
  
  |
  - 报表新增需求审批表
  - 报表变更需求审批表
  | | 数据资产管理与应用绩效管理办法 | 数据资产管理与应用绩效管理流程 | 数据资产管理与应用关键指标及计算说明 |

3、数据模型体系——整合

4、数据技术体系——底座

5、数据治理体系——治理

6、数据服务体系

7、数据运营体系——保障

3、大数据平台

3.1 大数据平台架构图示例

4、数据仓库

4.1 前期调研

• 业务调研：座谈业务，梳理业务流程，构建概念数据模型，初步规划数仓DW层主题域。
• 需求调研：梳理现有数据需求，收集整理数据和BI报表需求。
• 数据调研：获取每个数据源、结构说明书，整理数据字典，划分每个表的业务线和所属模板，确定每个库、表ODS层的主题域。

  4.2 指标梳理

  | 步骤 | 主要内容举例 | | —- | —- | | 罗列业务指标 |
  - 公司战略目标分解
  - 平衡计分卡分解
  - 部门指标分解岗
  - 位职贵常规指标
  - 工作薄弱方面
  - 防范性指标
  | | 筛选业务指标 | 总体遵循SMART原则
  - 少而精原则：二八原则，业务指标能描述80%以上工作
  - 结果导向原则：结果优先，产出中确定主次
  - 可衡量性原则：时限、数量、质量、成本
  - 一致性原则：业务指标与战略指标保持一致
  | | 选择权重 |
  - 指标数控制在3~8个之间
  - 每个指标权重一般不高于40%
  - 每个指标权重一般不低于50%
  - 权重一般取5的整数倍
  - 得分一般利用线性变化算比例
  | | 确定衡量指标 |
  - 定量指标需列明详细计算公式
  - 定性指标提取出评价要素明确衡量标准，让指标有解读的意义
  | | 修改确认 |
  - 体系价值：可支撑体系内比较
  - 合理合规：确认指标合理合规
  - 管理价值：是否能支撑上级管理需求
  - 拓展价值：是否支持下级部门指标设定
  |

4.3 数仓分层

四、数据治理

确保数据在全生命周期内的高质量,支撑价值化应用企业数据资产管理的基础,助力数据资产化集中管控。

1、数据治理体系

1.1 总体框架

1.2 组织架构——推行保障

1.3 数据治理核心模块

1.3.1 数据标准管理

保障数据内外部使用和交换的一致性和准确性的规范约束。

1.3.1.1 数据标准分类

1.3.1.2 数据标准框架

1.3.1.3 数据标准设计流程

1.3.1.4 数据质量指标

有参考电子政务数据建设规范

1.3.2 元数据管理

1.3.2.1 元数据管理框架

1.3.2.2 元数据概念

元数据是描述数据的数据，主要作用是让数据相关方了解数据如何生产、如何定义、如何分布，如何演变，数据之间有什么关系，以及相互之间的影响。可以为数据说明其属性（名称、大小、数据类型等），或结构（字段、类型、长度等），或其相关数据（位于何处、拥有者、产出任务、访问权限等），包括对数据的业务、结构、定义、存储、安全等各方面对数据的描述。为了准确的描述我们拥有的所有数据，其核心的目的是降低人与数据之间的沟通成本。描述的越准确，我们使用数据的成本就越低。

• 业务元数据：与业务规则、流程相关的描述性数据
• 技术元数据：与存储、访问等技术底层的描述性数据
• 操作元数据：与数据操作相关的描述性数据
• 管理元数据：与数据管理相关的描述性数据

  1.3.2.2 元数据分类