从开源到上市
- Elastic Inc - 开源软件 / 上市公司
- 当前市值超过50亿美金,开盘当天涨幅达94%
- Elasticsearch 软件下载量,超3.5亿次
- 10万+社区成员
- 7200+订阅用户,分布再100+国家
-
搜索引擎简介
Elasticsearch
Elasticsearch是一个基于Lucene库的开源分布式搜索分析引擎,Elasticsearch的核心优势就是近乎实时的分布式存储、搜索、分析服务。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。Elasticsearch目前已成为全球最受欢迎的企业搜索引擎。
Solr
Solr是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中標示、分面搜索、动态聚类、数据库集成,Solr是高度可扩展的,并提供了分布式搜索和索引复制。
Elasticsearch 起源-Lucene
Lucene是一套用于全文检索和搜索的开放源码程序库,基于Java,创建于1999年,2005年成为Apache顶级开源项目,Lucene具有高性能、易扩展的优点,但同时也有它的局限性:只能基于Java语言开发、类库的接口学习曲线陡峭、原生并不支持水平扩展。
Elasticsearch 诞生与发展
2004年 Elasticsearch 创始人 Shay Banon 基于 Lucene 开发了 Compass
- 2010年 Shay Banon 重写了 Compass,取名 Elasticsearch
- 支持分布式,可水平扩展
- 降低全文检索的学习曲线,可以被任何变成语言调用
- 2015年3月 收购 Elastic Cloud,提供 Cloud 服务
- 2015年3月 收购 PacketBeat
- 2016年9月 收购 PreAlert - Machine Learning 异常检测
- 2017年6月 收购 Opbeat 进军 APM
- 2017年11月收购 SaaS厂商 Swiftype,提供网站和App搜索
-
Elasticsearch 分布式架构
Elasticsearch 可以横向扩展至数百(甚至数千)的服务器节点,同时可以处理PB级数据
Elasticsearch 天生就是分布式的,并且在设计时屏蔽了分布式的复杂性
Elasticsearch 主要功能
海量数据的分布式存储以及集群管理,服务与数据的高可用、支持水平扩展
- 近乎实时搜索,性能卓越
-
Elastic Stack 生态圈
Logstash 数据处理管道
开源的服务器端数据处理管道,支持从不同来源采集数据,转换数据,并将数据发送到不同的存储库中。Logstash诞生于2009年,最初用来做日志的采集与处理。Logstash 创始人是 Jordan Sisel。2013年 Logstash 被Elasticsearch 收购,成为Elastic Stack 生态中的重要一环。
Logstash 特性
实施解析和转换数据
- 从IP地址破译出地址
- 将PII数据匿名化,完全排除敏感字段
- 可扩展
- 200多个插件(日志/数据库/Arcsigh/Netflow)
- 可靠性安全
- Logstash会通过持久化队列来保证至少将运行中的事件送达一次
- 数据传输加密
-
Kibana 可视化分析利器
Kibana 是一个免费且开放的用户界面,能够让您对 Elasticsearch 数据进行可视化。能够让非技术人员简单直观地构建可视化。通过数据筛选洞察大数据变化,智能分析数据。
BEATS 轻量级数据采集器
Beats 是一个免费的开放平台,适用于单一用途的数据传送者。他们将数据从成百上千的机器和系统发送到 Logstash 或 Elasticsearch。
X-Pack 商业化套件
6.3之前的版本,X-Pack以插件方式安装
- X-Pack开源后,Elasticsearch & Kibana 支持 OSS版和 Basic 两个版本