1、业务中台、数据中台、AI中台区别及联系是什么?
1.1、中台-概念
1、中台-概念:
1-1、所谓的"中台",与前台、后台相对应,在系统中被共用的中间件的集合,目的就是更好的服务前台
1-2、包含技术中台、业务中台、组织中台、数据中台等一系列的数据平台带来共享和便捷性。
1-3、中台的一个核心就是共享性(服务共享),目标是支持前台的快速创新或试错,而实现的手段是微服务架构、敏捷基础设施和公共基础服务。
1-4、中台建设的本质就是抽取共性,从而在企业内部进行复用,中台不是单纯的系统或平台,更是组织架构的重组和变革。
1-5、数据咨询公司Thoughtworks首席咨询师王健给出的定义:"企业级的能力复用平台" >>>>>
1-5-1、"企业级"划定了中台的范围,区分开了单系统的服务化与微服务。
1-5-2、"能力"指定了中台的主要承载对象,能力的抽象解释了各种各样中台的存在。
1-5-3、"复用"定义了中台的核心价值,过去的平台化对于易复用性并没有给予足够关注。中台的兴起,使得人们的目光更多的从平台内部,转换到平台对于前台业务的支撑上。
1-5-4、"平台"说明了中台的主要形式,区别于应用系统拼凑的方式,通过对于更细粒度能力的识别与平台化沉淀,实现企业能力的柔性复用,对于前台业务更好的支撑。
2、中台-来源:
2-1、中台是最早由阿里-张勇,在2015年提出的"大中台,小前台"战略中延伸出来的概念。
2-2、中台的灵感来源于芬兰的小公司Supercell,Supercell的整体架构采用"开发者领导"的模式。
3、抽取共性-概念:
3-1、实际上就是要去寻找企业内部多个业务线都使用的模块、节点、业务流程,从而将这些共用的部分提取出来,这就叫做抽取共性。
3-2、准确拆解并梳理各业务线功能节点;寻找具有相似度的功能进行合并;
4、中台-分类:
4-1、技术中台(基础服务中台): 将大家都通用的技术能力聚合到一起,由同一个团队负责,防止重复造轮子,是最容易实现的中台化。比如:微服务开发框架、Devops平台、PaaS平台,容器云之类的;各公司的基础服务,以账号体系为代表,都已经是中台化的了。
4-2、数据中台:提供数据分析能力,帮助企业从数据中学习改进,调整方向。
4-3、业务中台:提供重用服务, 比如:用户中心,订单中心,各种微服务集散地等。
4-4、算法中台:提供算法能力,帮助提供更加个性化的服务,增强用户体验。
4-5、组织中台:
4-5-1、是嫁接在前三种中台基础上,再加入"放权机制"的中台结构,它的核心价值应该在于"旧业务能否帮到新业务"。
4-5-2、这类组织中台在企业中主要起到投资评估与投后管理的作用,类似于企业内部资源调度中心和内部创新孵化组织。
5、中台-建设的几点原则:
5-1、通用:标准统一,实现数据打通(需要整合各应用各模块之间的数据)、可通用性。
5-2、组件化:中台提供的服务最好以组件化的方式让业务端可以即取即用,对共用服务进行抽象设计;通过抽象出的组件化服务提供,前台业务端可以以组合挑选的方式“按需取件”,减少重复建设得以实现。
5-3、可复用:中台提供的服务是应该可以即取即用的;服务的高复用是对技术层级上针对共用服务的抽象设计能力,需要尽可能近地靠近业务、靠近用户。
5-4、可共用:通过开放共享实现"可共用"的目标终究。
5-5、可扩展:底层的可灵活扩展能力将非常重要,在中台建设前就开启数字化的技术转型。
6、什么样的企业才适合建设中台?
6-1、业务规模达到一定程度:企业拥有可沉淀的一定量级的IT资产,企业要充分复用这些IT资产才可以突破当前瓶颈、更高效的赋能业务。比如:运营商、保险、银行、金融等拥有大量数据的传统国企和BAT这类大互联网公司。
6-2、已经实践了"系统化-->中心化-->平台化"过程:一个企业已经成功地实践了“系统化、中心化、平台化”的过程,并比较饱和状态地支撑了前台业务。
6-3、有魄力做组织架构重构:中台一定是企业级别的开放共享,否则它将只是某一个事业部或分公司旗下的功能平台而已。
7、中台-踩坑注意点:
7-1、组织架构与业务架构要相匹配
7-2、建立以价值为导向的需求治理机制,以价值为导向的需求治理机制,其目的是把有限的开发资源,投入到更有价值的项目上。
7-3、中台化的难度是:技术<数据<业务<组织,因为越往后,越需要业务团队的介入,越要有业务认知才能做到中台。
8、中台-解决不了的问题:
8-1、中台适合做"组合式创新",没法做"颠覆式创新"
8-1-1、组合式创新:是把现有几个能力进行组合,形成新的能力,它强调能力的标准化。比如:"盒马鲜生"为例,它复用了中台的商品、库存、用户、支付、AI、安全等多个服务能力,经过重新组合,形成了"零售新物种"。
8-1-2、颠覆式创新:是从根上做创新,它要打烂前台、中台、后台,颠覆现有模式和能力。
9、中台-总结:
9-1、采用高内聚、低耦合的架构,将IT服务化相通的能力提取出来,将复杂的系统逻辑沉淀到底层,连接后台与前台。
1.2、中台-结构-示意图
1.3、中台分类-业务中台-概念
1、业务中台-概念:
1-1、业务属性并支持多种业务属性的共性能力组织,有助于业务的复用,对业务的快速响应能力。
1-2、源自业务并服务于业务。
1-3、有一些通用的业务中心如:商品系统、订单系统、评价系统、营销中心等系统具有通用性的业务系统的集合。
1-4、业务中台是核心共性业务能力下沉,并形成可共享的服务能力对外开放。
1.4、中台分类-数据中台-概念
1、数据中台-概念:
1-1、提取各个业务的数据,统一标准和口径,通过数据计算和加工为用户提供数据服务。
1-2、广义上的:包含了数据模型存储、数据资产管理、对外提供数据服务、数据更深层次的分析挖掘等各方面过程。
1-3、其核心就是构建一个共享数据服务体系(核心跨域融合共性数据能力下沉,形成可共享的数据服务能力对外开放。),将数据变化为资产并服务于业务的机制,数据来源于业务并反哺业务。
1-4、第一数据要跨域整合,第二数据要加工处理后再提供增值服务能力。
2、数据中台-作用:
2-1、业务是根本,服务是手段,开放是价值。
2-2、数据中台的目的是为前台业务提供服务,因此对数据的计算、加工都是以满足业务需求为目标。脱离场景的数据中台是不合理的。
2-3、数据中台本质是一个能够实现跨域数据融合,并在数据融合后对数据进行整合加工和分析,提供增值的数据服务能力(API服务)给业务使用的一个平台。
3、数据中台-特点:
3-1、采集并致力跨域数据:采集并加工"企业内外割裂的数据","治理跨域数据",消除数据孤岛。
3-2、形成数据资产层:经过加工的数据,"实现数据资产化",形成"企业数据资产管理中枢"。各类人员可以直接从数据中台选用需要的数据。
3-3、增强"数据应用"迭代能力:提供组件化的加工能力,能够快速形成业务需要的数据产品。
3-4、形成API化的数据服务:形成数据资产并封装成API服务后,应用和中台之间无缝衔接,形成高度自动化的数据应用流程。业务人员即使不了解大数据技术,也能实施数据驱动型的工作。
3-5、业务为驱动的数据服务:数据中台的目的是为前台业务提供服务,因此对数据的计算、加工都是以满足业务需求为目标。脱离场景的数据中台是不合理的。
1.4.1、简单数据中台开放门户说明
采集中间件 —> 统一工作流调度[数据交换平台—>数据脱敏—>数据应用开发—>数据质量校验—>算法应用层开发—>数据可视化]—> —— 存储中间件[Hbase|HDFS|HUDI…] —— —— 计算中间件[Spark|Flink|Hive…] —— —— 资源管理中间件[队列分配|计算优化|….] ——
1.5、中台分类-Al中台-概念
1、Al中台-概念:
1-1、提供一个提供通用化智能服务,它是客户对于需求的数据服务的一个演变,比如:一些客户希望提供的服务能加上语音识别的输入方式,另外的一些客户可能需要一些动画实时的数据展示效果,用户希望给予当前的服务一些"个性化"。
1-2、Al中台需要在数据的存储、数据管理、分析展示都能自动化、智能化。
1.6、中台-应用场景
1、中台-应用场景:
1-1、中台其实就是为前台而生,通过加入中台,而对前台实现"瘦身",提升前台的规模化服务与创新能力,实现开发的敏捷性。进而更好的服务用户,使企业真正做到自身能力与用户需求的持续对接。
2、业务中台-应用场景:
2-1、业务中台适用于涉及领域比较多,需求变化快,业务逻辑复杂的场景。
2-2、比如:面向众多的业务系统,提取出它们共有业务系统的集合进行重复利用,减少用户中心、订单中心、售后服务中心等通用的系统重复去开发,帮助业务系统实现快速的开发,满足业务查询等业务需求。
2-3、业务中台侧重业务系统,其核心是分布式系统和多中心分布式业务计算架构,满足的业务系统所要求的快速查询,业务交易。
3、数据中台-应用场景:
3-1、为了解决数据开发和应用开发不同步的问题,通过构建一个统一的数据体系,快速开发基于数据标准体系的数据服务,实现数据服务的高可用性和高复用性。
3-2、比如:产品的需求中经常有客户需求提供数据接口的服务,客户方团队可以定制修改前台,通过将一些通用的数据建设以接口形式对外提供,或针对客户需求,通过一个统一体系对数据建模、加工分析处理,最终提供给客户所需的服务,当下一个客户有类似的需求服务时就不需要去重复建模、采集分析等处理。
3-3、数据中台则侧重于数据服务计算,实现对数据进行建模和分析,挖掘出有价值的信息,对业务中台有数据回刷和业务反辅,两者之间存在互补的关系。
4、Al中台-应用场景:
4-1、落脚点在于需要在数据的存储、数据管理、分析展示都能实现自动化、智能化。
4-2、AI中台目前主要是面向一些个性化的客户需求服务,而且这种个性化正在逐步普及。
4-3、比如:建造一个语音聊天机器人,需要AI技术的支持,需要构建以神经网络、深度学习等人工智能技术为核心的AI算法模型,提供自然语言处理、图像识别等技术上的支持,存在与技术上的累积性以及与时俱进性,最终提供给用户智能化、人性化的服务。
2、数据中台-简介
1、数据中台-四个过程:
1-1、数据库阶段:解决OLTP(联机事务处理)的需求,前端加数据库,将用户行为存入数据库,用来进行事务处理。
1-2、数据仓库阶段: OLAP(联机分析处理),不仅仅是存数据,企业需要根据数据进行分析,可以进行事后的差异分析和追溯分析。
1-3、数据平台阶段:解决海量数据的分析问题,主要解决技术问题,数据量太大,研究出用Hadoop代替Oracle RAC的好处是要增加数据处理的能力和容量,只需要增加服务器就好,成本不高,在海量数据处理和大规模并行处理上有很大优势。
1-4、数据中台阶段:将我们的分析结果变成运营动作,应对快速变化的前端业务,一套机制,整合分散的数据,快速形成数据服务,为企业经营决策提供支持。
2、数据中台的-作用:
2-1、在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。
2-2、需要一个能最少改动就能完成大部分需求的解决方案,比如:传统我们的一个电商网站,由于用户前端需要组织各种新的销售方式(拼团,一元购等),导致每次活动页面开发的时候,不仅需要前端重新设计页面,从后台接口提供与数据表都要重新设计。
2-3、中台的核心本质就是服务共享,目标是支持前台的快速创新或试错,而实现的手段是微服务架构、敏捷基础设施和公共基础服务。
3、数据中台-
2.1、各互联网公司-数据中台架构-举例
2.1.1、网易严选的数据体系
1、网易严选的数据体系-示意图分析:
1-1、数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
1-2、数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
1-3、数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。
1-4、数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。
2.1.1.1、网易严选的数据体系-示意图
2.1.2、亿信华辰的数据体系
1、亿信华辰的数据体系-示意图分析:
1-1、数据汇聚:
1-1-1、数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所产生的数据,
1-1-2、多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,
1-1-3、需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。
1-2、数据存储计算:
1-2-1、将采集补录、抽取整合的业务数据汇聚后,以数据形态存储,当下大数据发展的节奏让数据库技术也由传统关系型数仓架构,向Hadoop分布式架构演变。
1-2-2、等大数据技术服务的实时流式计算存储应用,实现海量数据高效统一管理,为企业提供实时数据支撑。
1-3、数据治理:
1-3-1、经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理、元数据管理、数据质量管理、生命周期管理、数据安全管理。
1-3-2、数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;
1-3-3、元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;
1-3-4、数据标准用来指定一系列标准,对元数据进行标准的检查;
1-3-5、数据质量是根据一系列规则,对库表数据进行校验和整改;
1-3-6、数据生命周期和安全贯穿整个流程,为数据保驾护航。
1-4、数据资产管理:
1-4-1、已经形成的数据资源需要有统一的地方去进行管理,方便业务人员理解数据,需要建立数据资产管理体系。
1-4-2、先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。
1-5、数据服务:
1-5-1、数据服务则是将数据资产转化成一种服务能力,数据服务功能,帮助用户实现数据规划咨询,数据资产服务开放及数据可视化展示应用等。
2.1.2.1、亿信华辰的数据体系-示意图
2.1.3、网易数帆-方案架构
2.1.4、捷码数据中台-方案架构
2.2、数据管控和治理
1、国际数据管理协会DAMA从数据治理生命周期角度对数据资产的管理行使权和控制的活动(规则,监控和执行):定义了数据治理,数据架构管理,数据开发,数据操作管理,数据安全,参考数据和主数据管理,数据仓库和商务智能管理,文档和内容管理,元数据管理,数据质量管理这十个领域。
2、CMMI提到的DMM模型是由五大核心过程域和一套支撑流程组成。五大核心过程域包括了数据管理战略,数据治理,平台和架构,数据运营,数据质量。
3、DCMM充分结合了大数据特点和国内数据治理现状,形成了数据战略,数据治理,数据架构,数据标准,数据质量,数据安全,数据应用,数据生命周期8个核心领域和28个过程域,重点关注数据的管理过程和方法。
2.2.1、数据治理审计-发展战略-示意图
2.2.2、数据资产管理和数据治理的关系
1、数据资产管理和数据治理的关系:
1-1、数据治理是对数据资产管理行使权力和控制活动的集合。
1-2、传统的数据治理内容通常包括了数据标准管理,元数据管理,数据质量管理,数据安全管理,数据生命周期管理。
1-3、数据资产管理在传统的数据治理的基础上增加了数据价值管理,数据共享管理等。
1-4、数据资产管理实际核心就是数据全生命周期管理,你需要管理数据如何形成资产的过程,同时又需要管理数据如何形成服务共享支撑应用的过程。同时在这个过程中还存在大量的横切,即安全,质量,标准等。
3、中台解决方案-简介
1、中台-理解
1-1、举例1:在一家客流量非常大的餐厅中我们要如何缩短客人的等待时间呢?
1-1-1、增加多名厨师,短处:每增加一个厨师是有很高成本的,而且每天忙的就是中午和晚上这两个时间点。
1-1-2、先将做菜这个任务拆分,让做菜这一件事变为多个环节来思考。也就是将做菜变为:买菜(采购)->配菜(洗+切+配菜)->做菜(厨师)
1-2、举例2:一个电商平台在我们未使用中台的时候,每一个前台的用户终端都需要与后台进行一次对接,而后台的每一个模块都需要维持与前台业务的关联,并根据不同业务前台的特征加入适配。
1-2-1、短处:后台的每一个模块都需要加入与前台适配的部分,从而大大加大了开发量;个前端在启动时需要分别对接不同的后台模块,也加大前台启动时的工作量;当后台进行升级或架构调整时还需要考虑与前台的对接,并进行逐一的调整。
1-2-2、引入中台后:让中台作为一个对接层,帮我们去统一对接前台的不同终端,同时对后台各个子系统进行统一的封装,让前台能无感知的使用各项服务而不需要单独设计通道。即:面向中台封装的统一后台(订单管理、会员管理、库存管理、商品管理等)->中台->前台(app、web、小程序等)
2、中台解决方案-理解:
2-1、中台解决方案的组成 = 能力输出(为不同的前台业务提供可以重复使用的能力,形成一次建设多次使用。) + 标准化中间件(整合能力,并封装头尾)
4、数据概念-对比解析
1、此处,介绍的数据概念分为:数据库、数据集市、数据仓库、数据湖、数据平台、数据中台。
2、细分简介:
2-1、数据库:为存储而生
2-1-1、按照数据结构来组织、存储和管理数据的仓库;是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据集合。
2-2、数据集市:
2-2-1、是企业级数据仓库的一个子集,他主要面向部门级业务,并且只面向某个特定的主题,按照多维的方式进行存储,包括定义维度需要计算的指标维度的层次等,生成面向决策分析需求的数据立方体。
2-3、数据仓库:为分析而生
2-3-1、是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合用于支持管理决策。
2-3-2、其主要功能是将组织透过资讯系统之联机事务处理(OLTP)经年累月所积累的大量资料,透过数据仓库理论所特有的资料存储架构,作一有系统的分析整理,以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行,并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建,帮助决策者能快速有效的自大量资料中,分析出有价值的资讯,以利决策拟定及快速回应外在环境变动,帮助构建商业智能(BI)。
2-4、数据湖
2-4-1、是以其自然格式存储的数据的系统或存储库,同行是对象blob或文件。
2-4-2、通常是企业所有数据的单一存储,包括源系统数据的原始副本,以及用于报告、可视化、分析和机器学习等任务的转换数据。
2-4-3、数据湖可以包括来自关系数据库(行和列)的结构化数据,半结构化数据(CSV,日志,XML,JSON),非结构数据(电子邮件、文档、PDF)和二进制数据(图像、音频、视频)。
2-5、数据平台:
2-5-1、是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台,为业务提供服务的方式主要是直接提供数据集。
2-6、数据中台:
2-6-1、以全域大数据建设为中心,技术上覆盖整个大数据从采集、加工、服务、消费的全链路的各个环节,对内对外提供服务。
3、三种关系:数据仓库-->数据湖-->数据中台
4.1、数据仓库VS数据库
数据仓库 | 数据库 | |
---|---|---|
面向对象 | 面向市场的,用于知识工人的数据分析 | 面向顾客的,用户操作员,客户和信息技术人员的事务和查询处理 |
数据内容 | 管理大量历史数据,提供汇总和聚集机制,而且在不同的粒度层上存储和管理信息 | 管理当前数据。一般这种数据比较琐碎,很难用于决策 |
数据设计 | 系统采用星形或雪花模型和面向主题的数据库设计 | 采用实体联系数据模型和面向应用的数据库设计 |
数据视图 | 经常需要跨越数据库模式的不同版本 | 关注一个企业或部门内部的当前数据,不涉及历史数据或不同单位的数据 |
访问模式 | 大部分是只读操作 | 主要由短的原子事务组成,一般需要并发控制和恢复机制 |
4.2、数据仓库VS数据集市
数据仓库 | 数据集市 | |
---|---|---|
数据来源 | 遗留系统、OLTP系统、外部数据 | 数据仓库 |
范围 | 企业级 | 部门级或工作组级 |
主题 | 企业主题 | 部门或特殊的分析主题 |
数据粒度 | 最细的粒度 | 较粗的粒度 |
数据结构 | 规范化结构(第3范式) | 星型模式、雪片模式或混合模式 |
历史数据 | 大量的历史数据 | 适度的历史数据 |
优化 | 处理海量数据 数据探索 | 便于访问和分析 快速查询 |
索引 | 高度索引 | 高度索 |
4.3、数据仓库VS数据湖
数据仓库 | 数据湖 | |
---|---|---|
类型 | 结构化数据,而且这些数据必须与数据仓库事先定义的模型吻合 | 所有类型数据,如结构化数据、半结构化、非结构化数据等,数据的类型依赖于数据源系统的原始数据格式 |
目的 | 处理结构化数据,将他们或者转换为多维数据,或者转换为报表,以满足后续的高级报表及数据分析需求 | 非常适合深度分析,包括高级数据分析、机器学习、深度学习等 |
特点 | 高性能、可重复性、持续使用 | 便于探索、创新、灵活性高 |
4.4、数据仓库VS数据平台
数据仓库 | 数据平台 | |
---|---|---|
数据类型 | 结构化数据 | 所有类型数据,如结构化数据、半结构化、非结构化数据等 |
服务方式 | 为业务提供服务的方式主要是分析报表 | 为业务提供的方式主要是直接提供数据集 |
4.5、数据仓库VS数据中台
1、从数据中台的目的和特征上与数据仓库相对比: 1.1、数据中台的目的是为前台业务提供服务,因此对数据的计算、加工都是以满足业务需求为目标。脱离场景的数据中台是不合理的。
2、核心不同: 2.1、数据中台不单单指系统或者工具,而是一个职能部门,通过一系列平台、工具、流程、规范来为整个组织提供数据资产管理和服务的职能部门。【数据中台的核心应该是数据资产管理和数据赋能】
3、数据来源不同: 3.1、数据中台的数据来源是全域数据:业务数据库、日志数据、埋点数据、爬虫数据、外部数据等,数据格式可为结构化数据,也可为非结构化数据。 3.2、数仓的数据来源主要是业务数据,数据格式以结构化为主。
4、数据应用不同 4.1、数据中台不仅仅面向报表,还面向用户画像、决策分析、风险评估等 4.2、数仓主要面向报表和高级可视化,在深度挖掘层面不够。
5、资产化不同 5.1、两种都能算数据资产化,但数据中台能够进行全域数据的整体规划和数据全生命周期管理。
4.5.1、二者的关键区别有以下几方面:
数据仓库/数据平台 | 数据中台 | |
---|---|---|
建设思想 | 以数据为驱动,自下向上 | 以业务为驱动,自上向下 |
服务方式 | 提供相关数据集或分析报表 | API化(或其他共享方式)的数据服务 |
业务距离 | 距离业务远,用于支持管理决策分析,业务价值无法直接体现 | 距离业务近,加速企业从数据到业务价值的过程 |
使用场景 | 主要用于分析型场景 | 不仅适用于分析型,也适用于交易型等场景 |
处理结构 | ETL结构 | ELT结构 |