1. 基本架构

https://flume.apache.org/

image.png

  • Agent：

    • Source：文件监控，写入到 Channel
    • Channel：缓冲区域
      • 自带缓冲方式
        • Memory Channel
        • File Channel
        • …
      • 支持通过 Kafka 做缓冲
    • Sink：将 Channel 的数据写入到 HDFS 等组件中

      2. 优势

  • 分布式

  • 支持实时监控并获取数据