0x0. Elastic生态圈

image.png

0x1. ELKB

ELKB是四个开源软件的缩写，分别表示：Elasticsearch，Logstash，Kibana，Beats。
image.png

1. Elasticsearch

是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有︰分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

2. Logstash

主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s 架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch 上去。
Kibana 也是一个开源和免费的工具，Kibana可以为Logstash和ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

3. Beats

是ELK 协议栈的新成员，一个轻量级开源数据搜集器架构，基于Logstash-Forwarder 源代码开发，是对它的替代。beats 就能读取数据，迅速发送到Logstash进行解析，亦或直接发送到 Elasticsearch进行集中式存储和分析。
Beats目前有开发了很多版本的数据采集器:

  • packetbeat(用于监控网络流量)
  • filebeat(用于监听日志数据，可以替代logstash-input-file)
  • topbeat(用于搜集进程的信息、负载、内存、磁盘等数据)
  • winlogbeat(用于搜集windows事件日志)

    官网：https://www.elastic.co/cn/products/beats

4. Kibana

Kibana 是一个基于Web 的图形界面，可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。

0x2. 互联网公司实践

Elastic Stack 提供 Beats 和Logstash 套件来采集任何来源、任何格式的数据。其实Beats和Logstash的功能差不多，都能够与Elasticsearch 产生协同作用，而且 logstash比filebeat功能更强大一点，2个都使用是因为:Beats是一个轻量级的采集器，支持从边缘机器向Logstash和Elasticsearch 发送数据。考虑到Logstash占用系统资源较多，我们采用Filebeat来作为我们的日志采集器，并且采用kafka作为传输方式是为了避免堵塞和丢失，以实现日志的实时更新。

有的人会在filebeat和kafka之间再加一层前置的logstash，主要用于数据格式化，避免在filebeat做太多计算影响业务服务器性能

image.png