从开源到上市

  • Elastic Inc - 开源软件 / 上市公司
  • 当前市值超过50亿美金,开盘当天涨幅达94%
  • Elasticsearch 软件下载量,超3.5亿次
  • 10万+社区成员
  • 7200+订阅用户,分布再100+国家
  • 云服务支持:Elastic、Amazon、阿里巴巴、腾讯

    搜索引擎简介

    Elasticsearch

    Elasticsearch是一个基于Lucene库的开源分布式搜索分析引擎,Elasticsearch的核心优势就是近乎实时的分布式存储、搜索、分析服务。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。Elasticsearch目前已成为全球最受欢迎的企业搜索引擎。

    Solr

    Solr是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中標示、分面搜索、动态聚类、数据库集成,Solr是高度可扩展的,并提供了分布式搜索和索引复制。

    image.png

    Elasticsearch 起源-Lucene

    Lucene是一套用于全文检索和搜索的开放源码程序库,基于Java,创建于1999年,2005年成为Apache顶级开源项目,Lucene具有高性能、易扩展的优点,但同时也有它的局限性:只能基于Java语言开发、类库的接口学习曲线陡峭、原生并不支持水平扩展。

    Elasticsearch 诞生与发展

  • 2004年 Elasticsearch 创始人 Shay Banon 基于 Lucene 开发了 Compass

  • 2010年 Shay Banon 重写了 Compass,取名 Elasticsearch
    • 支持分布式,可水平扩展
    • 降低全文检索的学习曲线,可以被任何变成语言调用
  • 2015年3月 收购 Elastic Cloud,提供 Cloud 服务
  • 2015年3月 收购 PacketBeat
  • 2016年9月 收购 PreAlert - Machine Learning 异常检测
  • 2017年6月 收购 Opbeat 进军 APM
  • 2017年11月收购 SaaS厂商 Swiftype,提供网站和App搜索
  • 2018年 X-Pack 开源

    Elasticsearch 分布式架构

  • Elasticsearch 可以横向扩展至数百(甚至数千)的服务器节点,同时可以处理PB级数据

  • Elasticsearch 天生就是分布式的,并且在设计时屏蔽了分布式的复杂性

    Elasticsearch 主要功能

  • 海量数据的分布式存储以及集群管理,服务与数据的高可用、支持水平扩展

  • 近乎实时搜索,性能卓越
  • 海量数据的近实时分析

    Elastic Stack 生态圈

    image.png

    Logstash 数据处理管道

    开源的服务器端数据处理管道,支持从不同来源采集数据,转换数据,并将数据发送到不同的存储库中。Logstash诞生于2009年,最初用来做日志的采集与处理。Logstash 创始人是 Jordan Sisel。2013年 Logstash 被Elasticsearch 收购,成为Elastic Stack 生态中的重要一环。

    Logstash 特性

  • 实施解析和转换数据

    • 从IP地址破译出地址
    • 将PII数据匿名化,完全排除敏感字段
  • 可扩展
    • 200多个插件(日志/数据库/Arcsigh/Netflow)
  • 可靠性安全
    • Logstash会通过持久化队列来保证至少将运行中的事件送达一次
    • 数据传输加密
  • 监控

    Kibana 可视化分析利器

    Kibana 是一个免费且开放的用户界面,能够让您对 Elasticsearch 数据进行可视化。能够让非技术人员简单直观地构建可视化。通过数据筛选洞察大数据变化,智能分析数据。
    image.png

    BEATS 轻量级数据采集器

    Beats 是一个免费的开放平台,适用于单一用途的数据传送者。他们将数据从成百上千的机器和系统发送到 Logstash 或 Elasticsearch。

    X-Pack 商业化套件

  • 6.3之前的版本,X-Pack以插件方式安装

  • X-Pack开源后,Elasticsearch & Kibana 支持 OSS版和 Basic 两个版本
    • 部分 X-Pack 功能支持免费使用,6.8 和 7.1 开始,Security 功能免费

      数据集成

      Elasticsearch 与数据库的集成

      image.png

      Elasticsearch 日志分析

      image.png