架构设计一

ELK 日志收集架构设计 - 图1

  • Beats: 主要用于收集日志
  • Filebeat: 监控文件的变更，将变更抓取出来。然后输出到其它地方。（使用 Filebeat 将收集过来数据转储到 Kafka）
  • Kafka: 用到 Kafka 是为了海量数据的数据，业务高峰期通过 Kafka 做一个缓冲。
  • Logstash: 对日志进行过滤。对过滤的数据存储到 Elasticsearch
  • Elasticsearch: 存储日志信息

  • Kibana: 分析日志

    架构设计二

    ELK 日志收集架构设计 - 图2

  • 应用系统日志使用 log4j2 生成 app.log 以及 error.log

  • Filebeat 同时收集两种日志
  • 日志由 filebeat 输出到 kafka
  • 再由 logstsh 收集过滤到 es 中
  • kibana 负责分析日志
  • 同时添加 xpack-watch ，添加一个 trigger shell 监听报错日志
  • 可以通过 api 同送到企业微信，或者短信，邮箱等