概述

:::tips ElasticSearch是一个的开源搜索引擎，使用它可以从海量数据中快速找到需要的内容

ElasticSearch结合Kibana、Logstash、Beats，也就是Elastic Stack（ELK），被广泛应用在日志数据分析、实时监控等领域
ElasticSearch就是Elastic Stack的核心，负责存储、搜索、分析数据
image.png

ElasticSearch底层是基于Lucene来实现的，Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发 :::

正向索引

:::tips image.png
如果是根据id查询，那么直接走索引，查询速度非常快；但如果是基于title做模糊查询，只能是逐行扫描数据，流程如下：

  1. 用户搜索数据，条件是title符合%手机%
  2. 逐行获取数据，比如id为1的数据
  3. 判断数据中的title是否符合用户搜索条件
  4. 如果符合则放入结果集，不符合则丢弃，然后回到步骤1

逐行扫描，也就是全表扫描，随着数据量增加，查询效率也会越来越低，数据量过多时就是一场灾难 :::

倒排索引

:::tips 倒排索引中有两个非常重要的概念：

  • 文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
  • 词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理，流程如下：

  • 将每一个文档的数据利用算法分词，得到一个个词条
  • 创建表，每行数据包括词条、词条所在文档id、位置等信息
  • 因为词条唯一性，可以给词条创建索引，例如hash表结构索引

image.png

倒排索引的搜索流程如下（以搜索”华为手机”为例）：

  1. 用户输入条件”华为手机”进行搜索
  2. 对用户输入内容进行分词，得到词条：华为、手机
  3. 拿着词条在倒排索引中查找，可以得到包含词条的文档id：1、2、3
  4. 拿着文档id到正向索引中查找具体文档

image.png

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快，无需再全表扫描 :::

ElasticSearch核心概念

:::tips elasticsearch中有很多独有的概念，与mysql中略有差别，但也有相似之处：

  • 索引（索引库）
  • 文档
  • 字段
  • 映射

索引（Index）就是相同类型的文档的集合，类似于数据库中的表，数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息，索引库中也有映射（Mapping）的概念，是对索引中文档的字段约束信息，类似数据库中表的结构和约束，约束里面可以存储大量文档，文档就类似于数据库中的记录，文档数据会被序列化为JSON格式后存储在ElasticSearch中，而文档中往往包含很多的字段（Field），类似于数据库中的列

Mysql：擅长事务类型操作，可以确保数据的安全和一致性
Elasticsearch：擅长海量数据的搜索、分析和计算

因此在企业中，往往是两者结合使用：

  • 对安全性要求较高的写操作，使用Mysql实现
  • 对查询性能要求较高的搜索需求，使用ElasticSearch实现
  • 两者再基于某种方式，实现数据的同步，保证一致性 ::: | MySQL | Elasticsearch | 说明 | | —- | —- | —- | | Table | Index | 索引(index)，就是文档的集合，类似数据库的表(table) | | Row | Document | 文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式 | | Column | Field | 字段（Field），就是JSON文档中的字段，类似数据库中的列（Column） | | Schema（DDL） | Mapping | Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema） | | SQL | DSL | DSL(Domain Specific Language)是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD |