描述:类似于数据库表合并,支持异构数据源

具体案例流程如下:

合并多个流 - 图1

目的是【合并hbase和oracle流】然后输出到phoenix

步骤1:排序

【合并记录】要求流必须先排序: 按ID升序

合并多个流 - 图2

步骤2

合并多个流 - 图3

  • 1- 旧数据源和新数据源一定不能搞混
  • 匹配关键字:用来作比较的。
  • flagfield可能是 new | identical | changed | deleted

步骤4

合并多个流 - 图4

只有新增的数据才输出到下一步