地址:https://flink-forward.org.cn/
实时数据湖
1、李廷加-Building The Real-time Datalake at ByteDance 看视频
2、伍翀、徐榜江-Flink CDC 如何简化实时数据入湖入仓 Flink CDC Schema Evolution有开源计划
4、玉兆、大龙-使用 Flink Hudi 构建流式数据湖平台 Small File Strategy
5、胡争-Apache Flink集成Apache Iceberg最佳实践 ppt写的非常好
挑战#1:上云
1.支持多种对象存储,特点:弹性、低廉、稳定
2.统一的Table语义,抽象度高,ACID,多种文件格式
3.计算引擎互连互通,支持Hive,Spark,Flink,Presto读写
挑战#2: 近实时数仓
1.分钟级入湖入仓 湖仓内数据更实时
2.更高效索引加速数据分析 查询响应更快
3.增量出湖出仓 下游ETL响应更快
挑战#3: 变更
1.Schema 变更 表结构随业务变动而变更
2.分区变更 调整分区策略适配不同分析诉求
3.数据变更 表级/分区级/文件级/行级不同粒度变更
流批一体
4、李劲松-基于 Flink Dynamic Table 构建流批一体数仓 lookup join,flink dynamic table
平台建设
实时数仓
姚冬阳-美团实时数仓平台建设 2021 新进展 双流关联大状态问题,SQL调试问题
