关键词:中台;数据中台;业务中台;数据管理;大数据;数据仓库;技术管理;数据科学;底层逻辑
概念
中台
前台是系统的前端平台,是直接与终端用户进行交互的应用层;后台是指系统的后端平台,终端用户是感知不到他的存在的。后台的价值是存储和计算企业的核心数据。
中台,一般是指搭建一个灵活快速应对变化的架构,快速实现前端提的需求,避免重复建设,达到提高工作效率目的。企业前台、后台存在需求矛盾时,为了满足前台的快速迭代需求和后台的稳定性需求,中台概念应用而成,核心是当前台需求来临时,中台能快速的进行响应,从而提升研发效率,降低创新成本,提高工作效率。
数据中台
在数据开发中,核心数据模型的变化是相对缓慢的,同时,对数据进行维护的工作量也非常大;但业务创新的速度、对数据提出的需求的变化,是非常快速的。数据中台的出现,就是为了弥补数据开发和应用开发之间,由于开发速度不匹配,出现的响应力跟不上的问题。
过去三十年,企业数据管理都以传统的IT架构为基础。每当技术部门为业务部门解决问题时,需要从业务需求的探查、技术壁垒的打通等从上到下各个方面来建设新系统。每个系统的建成都自成一体,各自满足业务部门的需求。这种情况不仅耗费各部门大量的精力也使得各个系统难以打通管理,无法形成更强大的数据能力。
业务中台
企业级能力复用平台
——摘自ThoughtWorks王健博客
中台的本质是提炼各个业务线的共性需求。
——摘自《阿里巴巴中台战略思想》
业务中台是提炼各业务线的共性需求,沉淀相对稳定的可共享的业务服务能力,支持快速多变的前台业务需求的能力平台。
通俗来说,业务中台把各个项目中共通的业务进行下沉,进而形成一个个通用的服务平台。业务中台的存在,打通了数据壁垒,让业务联动成为可能。
业务中台应该是强调整合与复用(共享)的。顺应的是以不变应万变的思路。 业务中台应该是快速响应前台需求的,支持新业务热启动的。
数据中台与业务中台的联系
数据中台从业务中台的数据库中获取数据,进行清洗和分析,得到的结果,支撑到业务中台上的智能化应用。这些智能化应用产生的新数据又流转到数据中台,形成闭环。
两个中台相当于两个不同的模块,各自履行自己的职责,为企业业务的发展、管理者更好的决策提供支持。其中,业务中台的存在是为了围绕公司业务运营进行服务,将获取的多维度数据传递给数据中台,由数据中台分析反馈给业务中台,以优化业务运营。
除了业务中台、数据中台,现在还增加了技术中台的理念,随着公司业务不断扩大,未来企业的发展都是朝着全渠道、多业态、线上线下一体化的模式发展,中台需要打通这所有的系统,但是不论之前的ERP、OMS、CRM系统,都是互相独立的板块,就需要技术中台进行相关的异构系统的业务和数据的打通。
数据中台与业务中台的区别
多个电商渠道使用一个下单服务,一个订单接口同时为多个前台系统提供服务,这是业务中台提供的能力。
多个前台系统,根据一个用户的手机号,获取对应的画像,用户的标签,这是数据中台提供的服务。
将多个支付通道,抽象建立成一个支付API,暴露给前台业务系统,这是业务中台提供的能力。
通过一个订单编号,来获取可能的商品推荐清单,从而做到交叉销售,这是数据中台提供的服务。
所以,我们可以总结一下:
业务中台提供的是可复用的流程类,交易类服务,是为了让业务交易同口径,让前台系统更标准,更规范,迭代速度更快,解决效率和产生数据不一致的问题。对应到API,是业务命令式API。
数据中台提供的是基于跨域数据的分析,洞察,训练产生的数据服务,是给前台系统提供实时决策数据。对应到API是,计算类的智能API和查询类的数据API。
一句话总结:业务中台让前台系统更敏捷,数据中台让前台业务系统更智慧。
数钥数据中台
基于Hadoop和Spark体系相关技术,融合数据采集、分析、存储能力,以Spring boot微服务形态对外提供服务。
整体架构:
数据存储
Hadoop技术已经经历了十几年的发展,而数据中台作为第二数据平面最重要的数据存储和计算平台,与Hadoop技术的融合越来越紧密,相辅相成,相得益彰。
- HBase可以让数据中台保存海量数据;
- Spark 使得数据湖可以更快的批量分析海量数据;
- Storm,Flink,NiFi等使数据湖能够实时接入和处理IOT数据。
Hadoop本身更多的聚焦于数据的处理与应用,但是对于底层的数据存储工作则并未过多的关注。数据中台需要从数据存储、数据治理等方面继续发展。
许多企业通常忽略数据积累的价值,数据需要从企业的各个方面持续的收集、存储,才有可能基于这些数据挖掘出价值信息,指导业务决策,驱动公司发展。
数据中台解决方案实现数据集中存储与共享是基于Hadoop+Spark大数据解决方案和海量对象存储架构,实现万亿级数据可靠存储与高效分析。
使用一套数据存储资源池,可有效解决企业中的数据烟囱问题,提供统一的命名空间,多协议互通访问,实现数据资源的高效共享,减少数据移动。
数据集中存储与共享实际上是将存储资源池化,将计算和数据进行分离。当前仍然有不少人不能接受大数据的计算和数据分离架构,认为一旦采用分离架构,必然会导致性能的降低。
但实际上,分离后可极大降低存储成本,有效提高计算资源利用率,增强计算和存储集群的灵活性。
数据集成
数据采集是构建数据平台的核心要素,数钥分析云的数据采集层由日志采集和数据库数据同步两部分组成。
1、日志采集:是通过整合全员行为、流程、组织绩效、流程审批效能等数据埋点规范,建立一套高性能、高可靠性的数据传输体系,完成数据从生产业务端到数据平台的传输。数据传输体系既支持实时流式计算,也支持各种时间窗口的批量计算。
2、数据同步:主要是指数据从业务系统同步进入数据仓库,和数据仓库同步进入数据服务或数据应用两个方面。致远分析云支持不同业务系统的各类数据源按批量或实时同步到数据仓库中。
数据不仅要存下来,更要治理好,否则数据中台将变成数据沼泽,浪费大量的IT资源。
平台化的数据中台架构能否驱动企业业务发展,数据治理至关重要。
企业中收集的数据或从其他行业中采集数据种类多样,格式不一,多数以原始格式存储,企业需要不断对这些原始数据进行整合加工,根据各业务组织、场景、需求形成容易分析的干净数据,尽可能多的让更多的人访问分析数据。
数据应用
第一层是绩效层,即重点关注的KPI指标。
随着企业的发展,每个阶段要解决的问题不同,每个阶段每个管理者所关注的指标也不同,这些指标需要我们时时关注,才能保证整个企业的良好运行。通过绩效层指标最容易发现企业存在的问题。
第二层是运营分析层,这层指标是企业的数据支撑。
对这层的指标我们要进行透视分析,深入分析,只有提前发现运营层指标的异常,才能提前预测到KPI指标的异常。通过经营分析层指标,我们可以找到问题产生的根源,才能对症下药,调整企业的管理。对企业进行调整后,又会反馈到运营指标上来,我们可以持续监控调整是否起到了预期的效果。
第三层是业务优化层。
我们要创新,要探索新的模式,就要有数据支撑。我们也可以尝试一些模拟分析。
阿里云数据中台
数据中台赛道火热的背后离不开阿里对数据中台的元老级贡献。作为这一行业的先行者和领路人,阿里云数据中台全面定义数据中台这一概念,将阿里集团内部中台实践的经验累积与各行业发展特色有机结合,探索出具有行业特色的数据中台建设路径。
以“OneData方法论”为内核+“Dataphin基座+Quick系列场景化”工具,再加上企业内部业务与IT职能融合下的组织管理新形式,构成阿里云数据中台输出方案的灵魂。
“OneData”方法论指导企业数据资产的构建与管理,打造坚实的数据基础;Dataphin作为数据中台建设的基座,“Quick系列”产品则为数据与业务场景结合提供应用工具。“Quick系列”持续丰富与迭代,为行业场景化提供更具针对性的指导。值得一提的是,阿里云数据中台的核心产品之一——Quick BI,是中国唯一入选Gartner魔力象限的可视化分析产品,阿里云强大的底层技术沉淀不容小觑。
Onedata
通过OneModel、OneID、OneService,实现数据的统一,即OneData。
其中OneModel统一数据构建及管理,完全消除数据二意性,实现分钟级代码自动生成;OneID是将核心商业要素资产化,实现数据的全域连接、标签萃取、立体画像;OneService则统一数据服务,以主题式服务输出,简化了数据查询。
Dataphin
Dataphin智能数据构建与管理(Intelligent Data Creation and Management)是面向各行各业大数据建设、管理及应用诉求,一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力,包括产品、技术和方法论等,助力打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系,以驱动创新。
Quick BI
Quick BI是一款专为云上用户和企业量身打造的新一代自助式智能BI服务平台,其简单易用的可视化操作和灵活高效的多维分析能力,让精细化数据洞察为商业决策保驾护航。是2019年中国唯一入围Gartner ABI领域魔力象限的BI工具。
Quick Audience
全域消费者运营平台——基于多渠道触达、多社交互动、全域会员管理,以及跨端数据回流的“组合拳”打造,Quick Audience 在2020云栖大会已升级为集数据资产构建、用户分析、精准营销投放、跨端社交互动和全域会员管理为一体的全域消费者运营平台。
Quick Stock
智能货品运营平台——Quick Stock旨在以数据为核心,通过更加精准和可配置的销量预测,以及仓储网络优化和调拨算法逻辑,帮助企业构建产销协同能力,实现高效的货品全生命周期运营。
Quick A+
全域行为洞察分析平台——是一款跨多端全域行为分析的一站式数据产品,实现自动可视化的数据埋点,万亿级别的日志获取、数据实时和离线处理能力。
行业现状
发展规模
行业增长势头明显,市场规模快速扩张。伴随着数据量的爆发式增长、数据处理技术的进步,以及数据中台产品逐渐实现商业化、需求端企业对数据中台的认知开始树立,2019年可以称为数据中台元年。当前我国数据中台行业处于从萌芽转向高速发展的过渡期,整体仍处在相对基础的发展阶段,但由于企业数字化转型驱动市场需求不断增加,行业增长势头明显,市场规模快速扩张。
此外,随着数据中台逐渐实现从理论架构到实际部署的落地实践,需求端企业对数据中台的理解和信任程度逐渐加深,而行业玩家也正积极探索和拓展数据中台的更多呈现形式,例如挖掘服务于中小微企业的实施路径,以助力各类企业数字化转型全流程。因此数据中台产品类型与服务内容有待进一步拓展,未来参与布局数据中台的企业数量也将快速增加,市场增量空间广阔。
主要供应商
行业集中度较低,市场竞争格局尚未成型,数据中台行业的主要参与者指帮助下游企业搭建数据中台并提供服务的供应厂商。整体而言,数据中台行业尚处于发展成型的早期阶段,参与者众多但行业集中度较低,尚未形成鲜明的市场竞争格局。
数据中台供应商主要由五类厂商构成:头部互联网企业、数字化解决方案提供商、大数据公司、独立中台开发商及人工智能厂商。市场不断有新玩家进入,各类型的厂商都具有不同的竞争优势,处在占领市场份额、凭借优势领域构建进入壁垒的扩张阶段,与此同时也带来了一些产品区分度低、边界不明、业务混杂等行业乱象。
发展趋势
深入下沉市场,产品更加标准化
数据中台的核心在于共享和沉淀能力,随着数据中台在行业头部及领先企业逐渐落地,供应商经历了各类业务场景能力沉淀的过程。在深度上,数据中台厂商承载细分行业的各类定制化业务,不断沉淀业务能力。在广度上,随着不同业务场景的持续输入,数据中台厂商产品的能力越来越丰富,覆盖的领域也越来越广泛。完善数据中台的深度和广度,提炼和整合数据中台的服务,尤其是对于对数据中台能力要求相对简单的中小企业,为客户提供标准化的整体解决方案将成为数据中台服务商的产品方向。
深耕细分领域,场景愈加精细化
首先,数据中台所提供的底层技术支撑能力,需要供应商在软件架构、云技术、容器编排、DevOps等多方面有充足的技术储备,还需要具备资本和技术实力的双重积累。纵观中国数据中台行业,虽然界限并不明晰,但是大致形成了以阿里、腾讯等技术雄厚的头部企业侧重提供底层架构技术,其他中小供应商侧重提供行业化服务和产品的竞争格局。其次,没有一家供应商可以覆盖企业庞大的、所有的需求,尤其是多组织、多板块、跨业务的大型企业,所以在一个领域内已经完成实践和形成规模的供应商会优先深耕本领域,提供更加细分的场景切入口。最后,企业也会根据业务需求面向不同领域的数据中台产品进行选择,不会局限于一家中台服务商。随着创业公司不断成长,细小赛道逐渐被填充,愈加激烈的市场竞争会使差异化成为供应商采取的产品战略。
参考文献
业务中台是什么?业务中台打通壁垒,让业务联动成为可能 (nequal.com)
数据中台与业务中台是什么关系,会冲突吗? - 帆软的回答 - 知乎 https://www.zhihu.com/question/282422336/answer/861542060