数据传输流程

数据传输模块主要用于多种异构数据源之间的数据交换，可实现各部门业务数据在应用层面的互联互通和信息共享。数据传输采用分布式的架构，可以从容应对大数据量的数据传输需求。

一个典型的数据传输任务主要分为三步：
image.png、

  • 登记数据源：赋予数据中台访问业务库数据的权限
  • 创建离线同步任务：实现丰富的异构数据源之间数据高速稳定的数据移动
  • 任务调度：按特定的频率同步数据，实现自动化周期化的数据同步更新

    支持的数据源

    image.png
数据源分类 数据源类型 抽取(Reader)/导入(Writer)
关系型数据库 DB2 R/W
DDB(DBI) R/W
DDB(QS) R/W
DM（达梦） R/W
HANA R/W
MySQL R/W
Oracle R/W
PostgreSQL R/W
SQLServer R/W
MPP数据库 Doris R/W
GreenPlum R/W
大数据存储 Hive R/W
Phoenix R/W
Vertica R/W
半结构化存储 API R
FTP R/W
HDFS R/W
分析型数据库 Clickhouse R/W
Kudu R/W
TiDB R/W
NoSQL ElasticSearch R/W
HBase R/W
Redis W
MongoDB R/W
消息队列 Kafka W
RocketMQ W