为大数据平台提供基础支撑性服务,提供多种数据接入工具,实现结构化和非结构化的数据的汇聚接入,并支持数据的预处理,为大数据平台提供原始数据支撑。
比较典型的组件有:
组件 | 备注 |
---|---|
Flume | 采集埋点信息、系统日志等 |
Sqoop | 关系型数据库与HDFS数据同步与迁移 |
Kafka | 消息队列 |
上一篇:💎 分层架构
下一篇:🔱 DataX-install