Logstash简单介绍

1.是什么

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

2. 解决了什么问题

2.1 分布式日志数据收集的问题

实际上我现在理解的LogStash的功能和filebeats是重复了的，只是filebests更加轻量级。

3. 优缺点

3.1 优点

和之前介绍得1filebeat一样，就是少了轻量级

3.2 待优化点

启动慢（相对于filebeats）
在视频的演示中，每一次启动都要等1、2分钟。

4.基本使用

Logstash管道具有两个必需元素input和output，以及一个可选元素filter。输入插件使用来自源的数据，过滤器插件根据你的指定修改数据，输出插件将数据写入目标。

4.1 配置文件

写上用的日志模型、写上主机、写上发送地址，搞定！
以上是理想状态，真实状态会麻烦很多很多。
生产中，Logstash管道要复杂不少：它通常具有一个或多个输入，过滤器和输出插件。

4.2 inputs

这里就是要进行配置的地方了

4.3 filters

grok过滤器

grok 会根据你感兴趣的内容分配字段名称，并把这些内容和对应的字段名称进行绑定。（as关键词）
有了工作管道以后，日志消息的格式常常不是理想的。想解析日志消息,以便能从日志中创建特定的命名字段。为此，grok 过滤器插件出现了。使用grok过滤器插件，可以将非结构化日志数据解析为结构化和可查询的内容。
grok使用文档
Grok filter plugin | Logstash Reference [7.10] | Elastic

Geoip过滤器

给输出的日志增加信息的。比如加上IP地址。
Geoip filter plugin | Logstash Reference [7.10] | Elastic

4.4 outputs

实际上也是json格式的

5.基本原理

5.1 系统结构

核心就是这个input、filters、outputs

6.参考文献

1、博客文章
logstash快速入门实战指南-Logstash简介 - JackYang - 博客园 (cnblogs.com)

7.学习疑惑

Q：我们自己的logstash在哪里看到？想看看他的配置文件？
A：需要找老师要一下IP地址

Q：为啥慢？
A：需要找老师要一下IP地址