ElasticaSeach 入门 - 初识 ElasticSearch - 《微服务》

了解 ElasticSearch
倒排索引
ElasticSearch 中的一些概念
安装 ElasticSearch 、Kibana
安装 IK 分词器

了解 ElasticSearch

ElasticSearch 的作用

ElasticSearch 是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容

ELK 技术栈

ElasticSearch 结合 Kibana、Logstash、Beats，也就是 Elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。

ElasticSearch 和 Lucene

ElasticSearch 底层是基于 Lucene 来实现的。

Lucene 是一个 Java 语言的搜索引擎类库，是 Apache 公司的顶级项目，由 DougCutting 于 1999 年研发。

Lucene 官网地址：https://lucene.apache.org/ 。

Lucene 的优势：易扩展、高性能（基于倒排索引）

Lucene 的缺点：只限于 Java 语言开发、学习曲线陡峭、不支持水平扩展

ElasticSearch 的发展历史：

2004 年 Shay Banon 基于 Lucene 开发了 Compass
2010 年 Shay Banon 重写了 Compass，取名为 ElasticSearch。

ElasticSearch 官网地址: https://www.elastic.co/cn/

相比与 Lucene ，ElasticSearch 具备下列优势：

支持分布式，可水平扩展
提供 Restful 接口，可被任何语言调用

倒排索引

倒排索引的概念是基于 MySQL 这样的正向索引而言的。

正向索引

如果是根据 id 查询，那么直接走索引，查询速度非常快。

但如果是基于 title 做模糊查询，只能是逐行扫描数据，流程如下：

用户搜索数据，条件是 title 符合 "%手机%"
逐行获取数据，比如 id 为 1 的数据
判断数据中的 title 是否符合用户搜索条件
如果符合则放入结果集，不符合则丢弃。回到步骤 1

逐行扫描，也就是全表扫描，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万时，就是一场灾难。

倒排索引

倒排索引中有两个非常重要的概念：

文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理，流程如下：

将每一个文档的数据利用算法分词，得到一个个词条
创建表，每行数据包括词条、词条所在文档 id、位置等信息
因为词条唯一性，可以给词条创建索引，例如 hash 表结构索引

如图：
初识 ElasticSearch - 图1

倒排索引的搜索流程如下（以搜索“华为手机”为例）：

用户输入条件 "华为手机" 进行搜索。
对用户输入内容分词，得到词条：华为、手机。
拿着词条在倒排索引中查找，可以得到包含词条的文档 id：1、2、3。
拿着文档 id 到正向索引中查找具体文档。

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档 id 都建立了索引，查询速度非常快！无需全表扫描。

正向和倒排

那么为什么一个叫做正向索引，一个叫做倒排索引呢？

正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。
倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的 id，然后根据 id 获取文档。是根据词条找文档的过程。

正向索引

优点：可以给多个字段创建索引、根据索引字段搜索、排序速度非常快
缺点：根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

优点：根据词条搜索、模糊搜索时，速度非常快
缺点：只能给词条创建索引，而不是字段、无法根据字段做排序
ElasticSearch 中的一些概念

ElasticSearch 中有很多独有的概念，与 MySQL 中略有差别，但也有相似之处。

文档和字段

ElasticSearch 是面向文档（Document）存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为 JSON 格式后存储在 ElasticSearch 中：
初识 ElasticSearch - 图2
而 JSON 文档中往往包含很多的字段（Field），类似于数据库中的列。

索引和映射

索引（Index），就是相同类型的文档的集合。例如：

所有用户文档，就可以组织在一起，称为用户的索引；
所有商品的文档，可以组织在一起，称为商品的索引；
所有订单的文档，可以组织在一起，称为订单的索引；

初识 ElasticSearch - 图3
因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。

MySQL 与 ElasticSearch

我们统一的把 MySQL 与 ElasticSearch 的概念做一下对比：

MySQL	Elasticsearch	说明
Table	Index	索引（index），就是文档的集合，类似数据库的表（table）
Row	Document	文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式
Column	Field	字段（Field），就是 JSON 文档中的字段，类似数据库中的列（Column）
Schema	Mapping	Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）
SQL	DSL	DSL是 ElasticSearch 提供的 JSON 风格的请求语句，用来操作 ElasticSearch，实现 CRUD

MySQL ：擅长事务类型操作，可以确保数据的安全和一致性
ElasticSearch：擅长海量数据的搜索、分析、计算

因此在企业中，往往是两者结合使用：

对安全性要求较高的写操作，使用 MySQL 实现
对查询性能要求较高的搜索需求，使用 ElasticSearch 实现
两者再基于某种方式，实现数据的同步，保证一致性

初识 ElasticSearch - 图4

安装 ElasticSearch 、Kibana

创建网络

因为我们还需要部署 Kibana 容器，因此需要让 ElasticSearch 和 Kibana 容器互联。这里先创建一个网络：

docker network create halo-es-net

拉取或加载镜像

docker pull elasticsearch:7.14.1

docker pull kibana:7.14.1

运行（单点）

运行 docker 命令，部署单点 ElasticSearch ：

docker run -d \
    --name halo-es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network halo-es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.14.1

命令解释：

-e "cluster.name=es-docker-cluster"：设置集群名称
-e "http.host=0.0.0.0"：监听的地址，可以外网访问
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小
-e "discovery.type=single-node"：非集群模式
-v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定 ElasticSearch 的数据目录
-v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定 ElasticSearch 的日志目录
-v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定 ElasticSearch 的插件目录
--privileged：授予逻辑卷访问权
--network halo-es-net ：加入一个名为 halo-es-net 的网络中
-p 9200:9200：端口映射配置

在浏览器中输入：http://halo:9200 即可看到 ElasticSearch 的响应结果：

运行 docker 命令，部署 Kibana

docker run -d \
--name halo-kibana \
-e ELASTICSEARCH_HOSTS=http://halo-es:9200 \
--network halo-es-net \
-p 5601:5601  \
kibana:7.14.1

--network es-net ：加入一个名为es-net的网络中，与 elasticsearch 在同一个网络中
-e ELASTICSEARCH_HOSTS=http://halo-es:9200"：设置 elasticsearch 的地址，因为 kibana 已经与elasticsearch 在一个网络，因此可以用容器名（halo-es）直接访问 elasticsearch
-p 5601:5601：端口映射配置

Kibana 启动一般比较慢，需要多等待一会，可以通过命令查看日志：

docker logs -f kibana

在浏览器输入地址访问：http://halo:5601，即可看到结果

安装 IK 分词器

ElasticSearch 在创建倒排索引时需要对文档分词；在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。

我们在 Kibana 的 DevTools 中测试：

POST /_analyze
{
  "analyzer": "standard",
  "text": "你好,世界! Hello,World!"
}

语法说明：

POST：请求方式
/_analyze：请求路径，这里省略了 http://halo:9200，有 kibana 帮我们补充

请求参数，JSON 风格：analyzer：分词器类型，这里是默认的 standard 分词器；text：要分词的内容

{
"tokens" : [
  {
    "token" : "你",
    "start_offset" : 0,
    "end_offset" : 1,
    "type" : "<IDEOGRAPHIC>",
    "position" : 0
  },
  {
    "token" : "好",
    "start_offset" : 1,
    "end_offset" : 2,
    "type" : "<IDEOGRAPHIC>",
    "position" : 1
  },
  {
    "token" : "世",
    "start_offset" : 3,
    "end_offset" : 4,
    "type" : "<IDEOGRAPHIC>",
    "position" : 2
  },
  {
    "token" : "界",
    "start_offset" : 4,
    "end_offset" : 5,
    "type" : "<IDEOGRAPHIC>",
    "position" : 3
  },
  {
    "token" : "hello",
    "start_offset" : 7,
    "end_offset" : 12,
    "type" : "<ALPHANUM>",
    "position" : 4
  },
  {
    "token" : "world",
    "start_offset" : 13,
    "end_offset" : 18,
    "type" : "<ALPHANUM>",
    "position" : 5
  }
]
}

处理中文分词，一般会使用 IK 分词器。https://github.com/medcl/elasticsearch-analysis-ik

在线安装 IK 插件

# 进入容器内部
docker exec -it elasticsearch /bin/bash
# 在线下载并安装
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.14.1/elasticsearch-analysis-ik-7.14.1.zip
#退出
exit
#重启容器
docker restart elasticsearch

离线安装 IK 插件

查看数据卷目录

安装插件需要知道 elasticsearch 的 plugins 目录位置，而我们用了数据卷挂载，因此需要查看 elasticsearch 的数据卷目录，通过下面命令查看:

docker volume inspect es-plugins

显示结果：

[
    {
        "CreatedAt": "2021-09-11T12:50:57+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
        "Name": "es-plugins",
        "Options": null,
        "Scope": "local"
    }
]

说明 plugins 目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data 这个目录中。

将 ik 分词器解压缩，重命名为 ik，上传到 es 容器的插件数据卷中后重启容器

docker restart halo-es

测试分词器

IK 分词器包含两种模式：

ik_smart ：最少切分，粗粒度

ik_max_word ：最细切分，细粒度

POST /_analyze
{
"analyzer": "ik_max_word",
"text": "你好,我的世界! Hello,World!"
}

结果：

{
"tokens" : [
 {
   "token" : "你好",
   "start_offset" : 0,
   "end_offset" : 2,
   "type" : "CN_WORD",
   "position" : 0
 },
 {
   "token" : "我",
   "start_offset" : 3,
   "end_offset" : 4,
   "type" : "CN_CHAR",
   "position" : 1
 },
 {
   "token" : "的",
   "start_offset" : 4,
   "end_offset" : 5,
   "type" : "CN_CHAR",
   "position" : 2
 },
 {
   "token" : "世界",
   "start_offset" : 5,
   "end_offset" : 7,
   "type" : "CN_WORD",
   "position" : 3
 },
 {
   "token" : "hello",
   "start_offset" : 9,
   "end_offset" : 14,
   "type" : "ENGLISH",
   "position" : 4
 },
 {
   "token" : "world",
   "start_offset" : 15,
   "end_offset" : 20,
   "type" : "ENGLISH",
   "position" : 5
 }
]
}

扩展和停用词词典

随着互联网的发展，“造词运动”也越发的频繁。出现了很多新的词语，在原有的词汇列表中并不存在。

所以我们的词汇也需要不断的更新，IK 分词器提供了扩展词汇的功能。

打开 IK 分词器 config 目录：

cd /var/lib/docker/volumes/es-plugins/_data/ik/config

在 IKAnalyzer.cfg.xml 配置文件内容添加：

<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 -->
        <entry key="ext_dict">ext.dic</entry>
         <!--用户可以在这里配置自己的扩展停止词字典-->
        <entry key="ext_stopwords">stopwort.dic</entry>
        <!--用户可以在这里配置远程扩展字典 -->
        <!-- <entry key="remote_ext_dict">words_location</entry> -->
        <!--用户可以在这里配置远程扩展停止词字典-->
        <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

新建一个 ext.dic，可以参考 config 目录下复制一个配置文件进行修改

我的世界

stopwort.dic 添加

的

重启 ElasticSearch

docker restart es

# 查看 日志
docker logs -f elasticsearch

日志中已经成功加载 ext.dic 配置文件

测试

POST /_analyze
{
  "analyzer": "ik_max_word",
  "text": "你好,我的世界! Hello,World!"
}

{
  "tokens" : [
    {
      "token" : "你好",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "我的世界",
      "start_offset" : 3,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "世界",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "hello",
      "start_offset" : 9,
      "end_offset" : 14,
      "type" : "ENGLISH",
      "position" : 3
    },
    {
      "token" : "world",
      "start_offset" : 15,
      "end_offset" : 20,
      "type" : "ENGLISH",
      "position" : 4
    }
  ]
}

注意当前文件的编码必须是 UTF-8 格式，严禁使用 Windows 记事本编辑

初识 ElasticSearch

了解 ElasticSearch

ElasticSearch 的作用

ELK 技术栈

ElasticSearch 和 Lucene

倒排索引

正向索引

倒排索引

正向和倒排

ElasticSearch 中的一些概念

文档和字段

索引和映射

MySQL 与 ElasticSearch

安装 ElasticSearch 、Kibana

创建网络

拉取或加载镜像

运行（单点）

安装 IK 分词器

在线安装 IK 插件

离线安装 IK 插件

测试分词器

扩展和停用词词典