ELK

ELK 解决方案 Elasticsearch, Logstash和 Kibana 都是开源软件 社区活跃

image.png

Elasticsearch

一个实时的分布式搜索和分析引擎，可用于全文搜索，结构化搜索以及分析，是建立在 Apache Lucene基础上的搜索引擎。
特点：

  • 实时分析
  • 分布式文件存储，支持横向扩容
  • 高可用性，易扩展，支持集群（Cluster）、分片和副本
  • JSON格式查询

    Logstash

    数据收集引擎，类似于Flume

    Kibana

    https://www.cnblogs.com/cjsblog/p/9476813.html

kibana 使用JavaScript编写，为Elasticsearch 提供分析和可视化的Web平台。
它可以在Elasticsearch的索引中查找，交互数据生成各种纬度的表图。

交互方式

curl 利用url语法对数据进行操作

查询方式： 1.关键字查询 2.复合查询 3.精准匹配 4.范围查询 5.多条件过滤

以上三个组件,阿里云均已提供
阿里云上DataWorks同步到ES： https://help.aliyun.com/document_detail/94555.html?spm=a2c4g.11186623.6.639.5b7b73bfXsEg0Fimage.png

数据的存储问题

  1.    ES支持横向扩容，通过增加机器数量提高存储能力（阿里云机器配置可动态调整）或者存储在HBase(分布式，列式存储的数据库),后期为了查询效率通过将数据存储在HBase中

SparkSQL

支持类SQL查询

Impala

  1.  基于内存查询速度快， 能够查询存储在Hadoop和HBase上PB级别的大数据，也支持Hive查询

Kylin

主要由中国人开发的大数据组件，提供Hadoop/Spark之上的查询接口多纬度分析，能在亚秒内查询巨大的Hive表