地址:https://flink-forward.org.cn/

实时数据湖

1、李廷加-Building The Real-time Datalake at ByteDance 看视频
2、伍翀、徐榜江-Flink CDC 如何简化实时数据入湖入仓 Flink CDC Schema Evolution有开源计划
4、玉兆、大龙-使用 Flink Hudi 构建流式数据湖平台 Small File Strategy
5、胡争-Apache Flink集成Apache Iceberg最佳实践 ppt写的非常好
挑战#1:上云
1.支持多种对象存储,特点:弹性、低廉、稳定
2.统一的Table语义,抽象度高,ACID,多种文件格式
3.计算引擎互连互通,支持Hive,Spark,Flink,Presto读写
挑战#2: 近实时数仓
1.分钟级入湖入仓 湖仓内数据更实时
2.更高效索引加速数据分析 查询响应更快
3.增量出湖出仓 下游ETL响应更快
挑战#3: 变更
1.Schema 变更 表结构随业务变动而变更
2.分区变更 调整分区策略适配不同分析诉求
3.数据变更 表级/分区级/文件级/行级不同粒度变更

流批一体

4、李劲松-基于 Flink Dynamic Table 构建流批一体数仓 lookup join,flink dynamic table

平台建设

2、穆纯进-联通实时计算平台演进与实践 集群治理存储大屏

实时数仓

姚冬阳-美团实时数仓平台建设 2021 新进展 双流关联大状态问题,SQL调试问题