为大数据平台提供基础支撑性服务,提供多种数据接入工具,实现结构化和非结构化的数据的汇聚接入,并支持数据的预处理,为大数据平台提供原始数据支撑。比较典型的组件有: 组件 备注 Flume 采集埋点信息、系统日志等 Sqoop 关系型数据库与HDFS数据同步与迁移 Kafka 消息队列