腾讯实时计算概况
实时计算覆盖的场景,与我们的生活、娱乐密切相关。
腾讯实时计算的规模。
JStorm到Flink的演进历程
**2017.03
**
Flink框架预研,JStorm上K8S
新框架调研,评估Flink替代JStorm
的可行性,包括:功能、性能等的
对比。此时所有的流计算任务全部
由JStorm承载,且继续演进新版本。
2017.09
Flink开源版本增强,业务迁移
针对内部场景,部分改造优化开源
版本,开始迁移部分JStorm上的任
务,以standalone模式运行
2018.01
Flink产品化
开始建设基于Flink的一站式流计算
平台Oceanus,并针对性优化社区
Flink On Yarn模式的部分功能。
2019.03
Oceanus场景化建设
打造内部Oceanus生态,完善场
景化服务,上线在线ML,开始
建设秒级监控等平台。
<br />**2018.09
**
Oceanus平台上线
实时流计算平台规模化接入腾讯内部业务(覆
盖所有BG)、TBDS客户,上线公有云。开始
批量迁移存量JStorm的任务到Oceanus。内
部宣布JStorm版本不再演进。
<br />
Oceanus平台介绍
Oceanus实时计算平台架构图
平台建设重点
一站式 提供完善的上下游数据生态,形成从接入、处理,到应用的数据闭环。
自助化 借助平台的应用调试、丰富的实时指标数据、配置化告警等功能,实
现监控、运维自助化。
可视化 不仅通过平台Web页面可轻松查看指标、打点日志等数据,同时对调
试结果,应用输出等,都提供了可视化的方式。
持续增强 结合业务实践,持续优化既有能力,并且迭代新功能;在满足自身客户需求的同时,适时回馈社区。