有用的链接

https://pdai.tech/md/db/nosql-es/elasticsearch-x-introduce-2.html

ELK 的生态

image.png
image.png

Beats

轻量级采集器,从边缘机器采集数据并发送到logstash 和 elasticsearch 上

image.png

LogStash

Logstash是动态数据收集管道,拥有可扩展的插件生态系统,支持从不同来源采集数据,转换数据,并将数据发送到不同的存储库中。其能够与ElasticSearch产生强大的协同作用,后被Elastic公司在2013年收购。
它具有如下特性:
1)实时解析和转换数据;
2)可扩展,具有200多个插件;
3)可靠性、安全性。Logstash会通过持久化队列来保证至少将运行中的事件送达一次,同时将数据进行传输加密;
4)监控;

ElasticSearch

ElasticSearch对数据进行搜索、分析和存储,其是基于JSON的分布式搜索和分析引擎,专门为实现水平可扩展性、高可靠性和管理便捷性而设计的。
它的实现原理主要分为以下几个步骤:
1)首先用户将数据提交到ElasticSearch数据库中;
2)再通过分词控制器将对应的语句分词;
3)将分词结果及其权重一并存入,以备用户在搜索数据时,根据权重将结果排名和打分,将返回结果呈现给用户;

ElasticSearch 最佳实践

基本日志系统

image.png

增加数据源和使用MQ

image.png

Metric 收集和APM性能监控

image.png

多数据中心方案

通过冗余实现数据高可用
image.png

两个数据采集中心,采集数据后汇聚到一起
image.png

数据分散,跨集群的搜索
image.png