Agent级联

上一篇文章仅仅是对单个agent做了应用，现在我们学习一下agent的级联。第一agent负责收集当中的数据，通过网络发送到第二个agent当中去。第二个agent负责接收第一个agent发送的数据，并将数据保存到dhfs上。我们还是以第二个案例access_log举例
image.png

1. 在node02安装flume

将node03机器上面解压后的flume文件拷贝到node02机器

  1. #在机器node03执行
  2. scp -r cd /export/servers/apache-flume-1.8.0-bin/ node02:$PWD

2. 在node02配置flume

  1. cd /export/servers/ apache-flume-1.8.0-bin/conf 
  2. vim tail-avro-avro-logger.conf
  1. a1.sources = r1 
  2. a1.sinks = k1 
  3. a1.channels = c1 
  5. a1.sources.r1.type = exec 
  6. a1.sources.r1.command = tail -F /export/servers/taillogs/access_log  #第三步创建此文件
  9. a1.channels.c1.type = memory 
  10. a1.channels.c1.capacity = 1000 
  11. a1.channels.c1.transactionCapacity = 100
  13. ##sink端的avro是一个数据发送者 
  14. a1.sinks.k1.type = avro 
  15. a1.sinks.k1.channel = c1
  16. a1.sinks.k1.hostname = 192.168.174.120
  17. a1.sinks.k1.port = 4141 
  18. a1.sinks.k1.batch-size = 10
  21. a1.sources.r1.channels = c1 
  22. a1.sinks.k1.channel = c1

3. 开发脚本向文件中写入数据

  1. cd /export/servers
  2. # 将需要监控的文件上传到node02
  3. scp -r sehlls/taillogs/ node02:$PWD

4. Node03 flume配置文件

  1. a1.sources = r1 
  2. a1.sinks = k1 
  3. a1.channels = c1 
  5. # source中的avro组件是一个接收者服务
  6. a1.sources.r1.type = avro 
  7. a1.sinks.k1.hostname = 192.168.174.120
  8. a1.sinks.k1.port = 4141 
  9. a1.sinks.k1.batch-size = 10
  11. a1.channels.c1.type = memory 
  12. a1.channels.c1.capacity = 1000 
  13. a1.channels.c1.transactionCapacity = 100
  16. a1.sinks.k1.type = hdfs 
  17. a1.sinks.k1.hdfs.path = hdfs://node01:8020/av /%y-%m-%d/%H%M/ 
  18. a1.sinks.k1.hdfs.filePrefix = events- 
  19. a1.sinks.k1.hdfs.round = true 
  20. a1.sinks.k1.hdfs.roundValue = 10 
  21. a1.sinks.k1.hdfs.roundUnit = minute 
  22. a1.sinks.k1.hdfs.rollInterval = 3 
  23. a1.sinks.k1.hdfs.rollSize = 20 
  24. a1.sinks.k1.hdfs.rollCount = 5 
  25. a1.sinks.k1.hdfs.batchSize = 1 
  26. a1.sinks.k1.hdfs.useLocalTimeStamp = true #生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本 
  27. a1.sinks.k1.hdfs.fileType = DataStream
  30. a1.sources.r1.channels = c1 
  31. a1.sinks.k1.channel = c1

5. 顺序启动

  1. bin/flume-ng agent -c conf -f conf/avro-hdfs.conf -n a1 -Dflume.root.logger=INFO,conso
  1. bin/flume-ng agent -c conf -f conf/tail-avro-avro-logger.conf -n a1 -Dflume.root.logge
  1. cd /export/servers/shells 
  2. sh tail-file.sh

6. 运行结果

会发现我们的hdfs下面多出很多文件，可以将滚动阈值调大一些
image.png

高可用方案

完成单点flume搭建完成后，下面我们搭建一个高可用的flume集群，架构如下：
image.png
待更新（等用到了再去学下）