image.png
image.png
image.png

image.png

queue

image.png

queue的分类

image.png

打开queue持久化

image.png

pipeline设置

image.png

Logstash配置文件

image.png
image.png
image.png

命令行配置

image.png

启动多个logstash实例

image.png

pipeline配置语法

引用logstash event（object）中的数据image.png

image.png
image.png

logstash插件

glob匹配语法

image.png

stdin插件

image.png

file插件

image.png
image.png
image.png

file插件样例

image.png
start_position只有第一次才起作用。要从头读文件需要将sincedb删掉。

file插件调试技巧

image.png

kafka插件

image.png

codec插件

image.png

Jdbc input plugin

Jdbc input plugin

  1. // （默认true）是否记录上次执行结果, 如果为真,将会把上次执行到的 tracking_column 字段的值记录下来,保存到 last_run_metadata_path 指定的文件中
  2. record_last_run => "true"
  4. // 是否需要记录某个column 的值,如果record_last_run为真,可以自定义我们需要 track 的 column 名称，此时该参数就要为 true. 否则默认 track 的是 timestamp 的值.
  5. use_column_value => "true"
  6. // 如果 use_column_value 为真,需配置此参数. track 的数据库 column 名,该 column 必须是递增的. 一般是mysql主键
  7. tracking_column => "autoid"

如果设置了use_column_value就将tracking_column作为:sql_last_value使用。

multiline插件

image.png
image.png
image.png
image.png

filter 插件

image.png

date【替换@timestamp字段】

image.png
image.png

grok【正则】

image.png
logstash-patterns-core/grok-patterns at master · logstash-plugins/logstash-patterns-core · GitHub

grok自定义匹配规则

image.png
image.png
image.png
image.png
image.png

image.png
image.png

dissect【分隔符明确场景】

image.png
样例：
image.png
image.png
image.png

convert_datatype【dissect类型转换】

image.png

mutate

image.png

convert【类型转换】

image.png

gsub【内容替换】

image.png

split【切割数组】

image.png

merge【合并数组】

image.png

rename【改名字】

update/replace【替换值】

image.png

remove_field【删除字段】

json【解析json，不同于codec】

image.png
image.png

csv【解析csv】

image.png

geoip

image.png

ruby【ruby代码定义】

stdout

codec rubydebug【debug输出】

file

image.png

elasticsearch

image.png

logstash实战

@metadata【可做调试开关】

image.png

debug显示metadata

image.png

[@metadata][index]

image.png
image.png

logstash运维

运维api【查看状态】

image.png

x-pack

image.png