腾讯实时计算概况

实时计算覆盖的场景,与我们的生活、娱乐密切相关。

image.png

腾讯实时计算的规模。

image.png

JStorm到Flink的演进历程

  1. **2017.03

**
Flink框架预研,JStorm上K8S
新框架调研,评估Flink替代JStorm 的可行性,包括:功能、性能等的 对比。此时所有的流计算任务全部 由JStorm承载,且继续演进新版本。

2017.09
Flink开源版本增强,业务迁移
针对内部场景,部分改造优化开源 版本,开始迁移部分JStorm上的任 务,以standalone模式运行

2018.01
Flink产品化
开始建设基于Flink的一站式流计算 平台Oceanus,并针对性优化社区 Flink On Yarn模式的部分功能。

2019.03
Oceanus场景化建设
打造内部Oceanus生态,完善场 景化服务,上线在线ML,开始 建设秒级监控等平台。

  1. <br />**2018.09

**
Oceanus平台上线
实时流计算平台规模化接入腾讯内部业务(覆 盖所有BG)、TBDS客户,上线公有云。开始 批量迁移存量JStorm的任务到Oceanus。内 部宣布JStorm版本不再演进。
image.png

  1. <br />

Oceanus平台介绍

Oceanus实时计算平台架构图

image.png

平台建设重点

一站式 提供完善的上下游数据生态,形成从接入、处理,到应用的数据闭环。


自助化 借助平台的应用调试、丰富的实时指标数据、配置化告警等功能,实 现监控、运维自助化。

可视化 不仅通过平台Web页面可轻松查看指标、打点日志等数据,同时对调 试结果,应用输出等,都提供了可视化的方式。


持续增强 结合业务实践,持续优化既有能力,并且迭代新功能;在满足自身客户需求的同时,适时回馈社区。

Oceanus-提交计算任务

image.png

开源特性增强

流计算业务实践