Flink CDC认识

开源地址

前言

CDC有两种方式，一种是离线的，一种是实时的，也就是一种是基于查询的，一种是Binlog的这种方式。

为什么要学FlinkCDC

我们用传统的CDC工具检测到一个数据后，我们要对数据进行计算，常规的方案是采用CDC工具将数据采集到消息队列中，用Spark 或者 Flink 进行计算，加工， 有了Flink CDC 我们可以读取数据和加工数据用Flink一起完成，这就是学习Flink CDC 的一个根本原因。

什么是CDC

CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。
Flink CDC
Flink 社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。