Apache Iceberg资料分享

国内演讲

• Apache Flink+Iceberg Meetup · 上海站，超强数据湖干货等你！

  • 这是围绕Apache Iceberg为核心打造的线下Meetup，参会数百人。邀请了来自汽车之家、戴尔科技、阿里巴巴、腾讯等各位业界数据湖专家，齐聚一堂，共同探讨分享Iceberg数据湖的最佳实践。
  • 主要分为以下几场分享（完整视频链接：https://www.bilibili.com/video/BV1YQ4y1R7DQ）：
    • 汽车之家基于Apache Iceberg的湖仓一体架构实践
    • Iceberg和对象存储构建数据湖方案
    • 百亿级实时数据入湖实战
    • Flink和Iceberg如何解决数据入湖面临的挑战

• Flink Forward Asia 2020: Flink 如何实时分析 Iceberg 数据湖的CDC数据。

  • 演讲文章整理：https://developer.aliyun.com/article/782120
  • 现场演讲视频：https://developer.aliyun.com/topic/ffa2020/live，选择【12月15日上午】的【核心技术】专场。

• Flink + Iceberg统一存储讨论 ：主要对比分析flink + iceberg和 flink + kafka 在业务场景上的差异。

• Apache Iceberg 0.11.0: What’s new in flink integration: 分享Apache Iceberg 0.11.0版本在flink集成方面做的核心工作。

  • 演讲文章整理：https://developer.aliyun.com/article/781752

• Flink + Iceberg 最新进展: QCon+会议上直播Apache Iceberg最新的一些进展和规划。

• Building an enterprise-level data lake based on Flink+Iceberg: 和 cloudera团队分享 Flink + Iceberg和核心场景和相关规划。

• QCon2020: 如何基于 Flink + Iceberg 构建实时数据湖。主要分享 Apache Iceberg数据湖的核心应用场景。

• 2020 - 深圳 Flink Meetup: 基于Flink + Iceberg 构建企业级实时数据湖。

海外演讲

• Apache Iceberg – A Table Format for Huge Analytic Datasets

  • Ryan Blue 是Apache Iceberg项目的创始人。
  • 本次分享介绍了该项目为何而生，擅长场景，核心优势等。

• Netflix用 Flink + Iceberg 替换掉 Kafka 做 backfill。

  • Iceberg对Flink来说很有价值的场景。
  • 视频链接
  • PPT链接

文章分享

• 深度对比 Delta、Iceberg 和 Hudi 三大开源数据湖方案 （2020）

  • 当时技术圈较为广泛认可的三大数据湖框架对比。
  • 文章发表时间点为2020年1月左右。到现在三个项目已经在各自的路线上发生了很多的演进，或许我们需要在2021年重新对比一次三大框架。
  • PPT分享

• 腾讯基于Flink + Iceberg 全场景实时数仓的建设实践

  • 苏舒 - Apache Iceberg Contributor，腾讯数据平台部高级工程师
  • 文章链接：https://developer.aliyun.com/article/781534

• 同程艺龙flink+iceberg实践

  • 张军：Apache Iceberg 活跃贡献者，同城艺龙数仓工程师。
  • 文章链接：https://cloud.tencent.com/developer/article/1770789

• Apache Iceberg: An Architectural Look Under the Covers

  • 来自 dremio 的一篇详细对比hive table format和iceberg table format的文章，值的一读。
  • 文章链接: https://www.dremio.com/apache-iceberg-an-architectural-look-under-the-covers/#the-iceberg-table-format

• Iceberg At Adobe:

  • 主要介绍 Apache Iceberg 在Adoble公司的最佳实现，由Iceberg社区核心开发者分享，值得一读。
  • 文章链接：https://medium.com/adobetech/iceberg-at-adobe-88cf1950e866

• High Throughput Ingestion with Iceberg (Adobe)

  • 主要介绍如何解决小文件问题以及高并发写入问题等。
  • 文章链接：https://medium.com/adobetech/high-throughput-ingestion-with-iceberg-ccf7877a413f

• Taking Query Optimizations to the Next Level with Iceberg (Adobe)

  • https://medium.com/adobetech/taking-query-optimizations-to-the-next-level-with-iceberg-6c968b83cd6f

• FastIngest: Low-latency Gobblin with Apache Iceberg and ORC format (Linkedin)

  • https://engineering.linkedin.com/blog/2021/fastingest-low-latency-gobblin

• Optimizing data warehouse storage (Netflix)

  • https://netflixtechblog.com/optimizing-data-warehouse-storage-7b94a48fdcbe

• A Short Introduction to Apache Iceberg (Expedia Group)

  • https://medium.com/expedia-group-tech/a-short-introduction-to-apache-iceberg-d34f628b6799