1 基本概念

1.1 索引

在Elasticsearch中，存储数据的行为就叫做索引(indexing)，文档归属于一种类型(type)，而这些类型存在于索引(index)中

类比传统关系型数据库：

  1. Relational DB -> Databases -> Tables -> Rows -> Columns
  3. Elasticsearch -> Indices   -> Types  -> Documents -> Fields

Elasticsearch集群可以包含多个索引(indices)（数据库）

每一个索引可以包含多个类型(types)（表）

每一个类型包含多个文档(documents)（行）

然后每个文档包含多个字段(Fields)（列）。

三、Elasticsearch入门 - 图1

Elasticsearch 是面向文档型数据库，一条数据在这里就是一个文档。

ES 里的 Index 可以看做一个库，而 Types 相当于表，Documents 则相当于表的行。

三、Elasticsearch入门 - 图2

Types 的概念已经被逐渐弱化，Elasticsearch 6.X 中，一个 index 下已经只能包含一个type，Elasticsearch 7.X 中, Type 的概念已经被删除了。

2 索引操作

2.1、创建索引

对比关系型数据库，创建索引就等同于创建数据库

三、Elasticsearch入门 - 图3

  1. {
  2.     "acknowledged": true, # 【响应结果】 true 操作成功
  3.     "shards_acknowledged": true, # 【分片结果】 分片操作成功
  4.     "index": "shopping" #【索引名称】
  5. }
  7. # 注意：创建索引库的分片数默认 1 片，在 7.0.0 之前的 Elasticsearch 版本中，默认 5 片

如果重复添加索引，会返回错误信息

2.2、 查看所有索引

这里请求路径中的_cat 表示查看的意思，indices 表示索引，所以整体含义就是查看当前 ES服务器中的所有索引，就好像 MySQL 中的 show tables 的感觉

三、Elasticsearch入门 - 图4

表头 含义
health 当前服务器健康状态:
green(集群完整) yellow(单点正常、集群不完整) red(单点不正常)
status 索引打开、关闭状态
index 索引名
uuid 索引统一编号
pri 主分片数量
rep 副本数量
docs.count 可用文档数量
docs.deleted 文档删除状态（逻辑删除）
store.size 主分片和副分片整体占空间大小
pri.store.size 主分片占空间大小

2.3、查看单个索引

三、Elasticsearch入门 - 图5

  1. {
  2.     "shopping"【索引名】: {
  3.         "aliases"【别名】: {},
  4.         "mappings"【映射】: {},
  5.         "settings"【设置】: {
  6.             "index"【设置 - 索引】: {
  7.                 "creation_date"【设置 - 索引 - 创建时间】: "1614265373911",
  8.                 "number_of_shards"【设置 - 索引 - 主分片数量】: "1",
  9.                 "number_of_replicas"【设置 - 索引 - 副分片数量】: "1",
  10.                 "uuid"【设置 - 索引 - 唯一标识】: "eI5wemRERTumxGCc1bAk2A",
  11.                 "version"【设置 - 索引 - 版本】: {
  12.                     "created": "7080099"
  13.                 },
  14.                 "provided_name"【设置 - 索引 - 名称】: "shopping"
  15.             }
  16.         }
  17.     }
  18. }

2.4、 删除索引

三、Elasticsearch入门 - 图6

3 文档操作

3.1、创建文档

索引已经创建好了，接下来我们来创建文档，并添加数据。

这里的文档可以类比为关系型数据库中的表数据，添加的数据格式为 JSON 格式

请求体内容为：

  1. {
  2.     "title":"小米手机",
  3.     "category":"小米",
  4.     "images":"http://www.gulixueyuan.com/xm.jpg",
  5.     "price":3999.00
  6. }

此处发送请求的方式必须为 POST，不能是 PUT，否则会发生错误

三、Elasticsearch入门 - 图7

服务器响应结果如下：

  1. {
  2.     "_index"【索引】: "shopping",
  3.     "_type"【 类型-文档 】: "phone",
  4.     "_id"【唯一标识】: "Xhsa2ncBlvF_7lxyCE9G", #可以类比为 MySQL 中的主键，随机生成
  5.     "_version"【版本】: 1,
  6.     "result"【结果】: "created", #这里的 create 表示创建成功
  7.     "_shards"【分片】: {
  8.         "total"【分片 - 总数】: 2,
  9.         "successful"【分片 - 成功】: 1,
  10.         "failed"【分片 - 失败】: 0
  11.     },
  12.     "_seq_no": 0,
  13.     "_primary_term": 1
  14. }

3.2、自定义唯一性标识

上面的数据创建后，由于没有指定数据唯一性标识（ID），默认情况下，ES 服务器会随机生成一个。

如果想要自定义唯一性标识，需要在创建时指定：

三、Elasticsearch入门 - 图8

此处需要注意：如果增加数据时明确数据主键，那么请求方式也可以为 PUT

  1. {
  2.     "_index": "shopping",
  3.     "_type": "phone",
  4.     "_id": "1", # 此处已经变为自定义ID
  5.     "_version": 1,
  6.     "result": "created",
  7.     "_shards": {
  8.         "total": 2,
  9.         "successful": 1,
  10.         "failed": 0
  11.     },
  12.     "_seq_no": 1,
  13.     "_primary_term": 1
  14. }

3.3、主键查询

查看文档时，需要指明文档的唯一性标识，类似于 MySQL 中数据的主键查询

三、Elasticsearch入门 - 图9

  1. {
  2.     "_index"【索引】: "shopping",
  3.     "_type"【文档类型】: "phone",
  4.     "_id": "1",
  5.     "_version": 1,
  6.     "_seq_no": 1,
  7.     "_primary_term": 1,
  8.     "found"【查询结果】: true, # true 表示查找到，false 表示未查找到
  9.     "_source"【文档源信息】: {
  10.         "title": "小米手机",
  11.         "category": "小米",
  12.         "images": "http://www.gulixueyuan.com/xm.jpg",
  13.         "price": 4999.00
  14.     }
  15. }

3.4、查看所有文档

三、Elasticsearch入门 - 图10

  1. {
  2.     "took": 45,
  3.     "timed_out": false,
  4.     "_shards": {
  5.         "total": 1,
  6.         "successful": 1,
  7.         "skipped": 0,
  8.         "failed": 0
  9.     },
  10.     "hits": {
  11.         "total": {
  12.             "value": 2,
  13.             "relation": "eq"
  14.         },
  15.         "max_score": 1.0,
  16.         "hits": [
  17.             {
  18.                 "_index": "shopping",
  19.                 "_type": "phone",
  20.                 "_id": "WYlal30BHTTsEIEiNYMf",
  21.                 "_score": 1.0,
  22.                 "_source": {
  23.                     "title": "小米手机",
  24.                     "category": "小米",
  25.                     "images": "http://www.gulixueyuan.com/xm.jpg",
  26.                     "price": 3999.00
  27.                 }
  28.             },
  29.             {
  30.                 "_index": "shopping",
  31.                 "_type": "phone",
  32.                 "_id": "1_update",
  33.                 "_score": 1.0,
  34.                 "_source": {
  35.                     "doc": {
  36.                         "price": 3000.00
  37.                     }
  38.                 }
  39.             }
  40.         ]
  41.     }
  42. }

3.5、修改文档

和新增文档一样，输入相同的 URL 地址请求，如果请求体变化，会将原有的数据内容覆盖

请求体内容为:

  1. {
  2.     "title":"华为手机",
  3.     "category":"华为",
  4.     "images":"http://www.gulixueyuan.com/hw.jpg",
  5.     "price":4999.00
  6. }

三、Elasticsearch入门 - 图11

修改成功后，服务器响应结果：

  1. {
  2.     "_index": "shopping",
  3.     "_type": "phone",
  4.     "_id": "1",
  5.     "_version"【版本】: 2,
  6.     "result"【结果】: "updated", # updated 表示数据被更新
  7.     "_shards": {
  8.         "total": 2,
  9.         "successful": 1,
  10.         "failed": 0
  11.     },
  12.     "_seq_no": 2,
  13.     "_primary_term": 1
  14. }

3.6、修改字段

修改数据时，也可以只修改某一条数据的局部信息

请求体内容为：

  1. {
  2.     "doc": {
  3.         "price":3000.00
  4.     }
  5. }

三、Elasticsearch入门 - 图12

修改成功后，服务器响应结果：

三、Elasticsearch入门 - 图13

根据唯一性标识，查询文档数据，文档数据已经更新

三、Elasticsearch入门 - 图14

3.7、删除文档

删除一个文档不会立即从磁盘上移除，它只是被标记成已删除（逻辑删除）。

三、Elasticsearch入门 - 图15

删除后再查询当前文档信息

三、Elasticsearch入门 - 图16

如果删除一个并不存在的文档

三、Elasticsearch入门 - 图17

3.8、条件删除文档

一般删除数据都是根据文档的唯一性标识进行删除，实际操作时，也可以根据条件对多条数据进行删除

首先分别增加多条数据:

  1. {
  2.     "title": "小米手机",
  3.     "category": "小米",
  4.     "images": "http://www.gulixueyuan.com/xm.jpg",
  5.     "price": 4000.00
  6. } 
  8. {
  9.     "title": "华为手机",
  10.     "category": "华为",
  11.     "images": "http://www.gulixueyuan.com/hw.jpg",
  12.     "price": 4000.00
  13. }

三、Elasticsearch入门 - 图18

三、Elasticsearch入门 - 图19

向 ES 服务器发 POST 请求 ：http://127.0.0.1:9200/shopping/_delete_by_query

请求体内容为：

  1. {
  2.     "query": {
  3.         "match": {
  4.             "price": 4000.00
  5.         }
  6.     }
  7. }

三、Elasticsearch入门 - 图20

删除成功后，服务器响应结果：

  1. {
  2.     "took": 568, 【耗时】
  3.     "timed_out": false, 【是否超时】
  4.     "total": 2, 【总数】
  5.     "deleted": 2, 【删除数量】
  6.     "batches": 1,
  7.     "version_conflicts": 0,
  8.     "noops": 0,
  9.     "retries": {
  10.         "bulk": 0,
  11.         "search": 0
  12.     },
  13.     "throttled_millis": 0,
  14.     "requests_per_second": -1.0,
  15.     "throttled_until_millis": 0,
  16.     "failures": []
  17. }

4、映射操作

有了索引库，等于有了数据库中的 database。

接下来就需要建索引库(index)中的映射了，类似于数据库(database)中的表结构(table)。

创建数据库表需要设置字段名称，类型，长度，约束等；

索引库也一样，需要知道这个类型下有哪些字段，每个字段有哪些约束信息，这就叫做映射(mapping)。

4.1、创建映射

在 Postman 中，向 ES 服务器发 PUT 请求 ：http://127.0.0.1:9200/student/_mapping

请求体内容为：

  1. {
  2.     "properties": {
  3.         "name": {
  4.             "type": "text",
  5.             "index": true
  6.         },
  7.         "sex": {
  8.             "type": "keyword",
  9.             "index": false
  10.         },
  11.         "age": {
  12.             "type": "long",
  13.             "index": false
  14.         }
  15.     }
  16. }

三、Elasticsearch入门 - 图21

4.2、映射数据说明

  • 字段名：任意填写，下面指定许多属性，例如：title、subtitle、images、price
  • type：类型，Elasticsearch 中支持的数据类型非常丰富，说几个关键的：
    • String 类型，又分两种：
      • text：可分词
      • keyword：不可分词，数据会作为完整字段进行匹配
    • Numerical：数值类型，分两类
      • 基本数据类型：long、integer、short、byte、double、float、half_float
      • 浮点数的高精度类型：scaled_float
    • Date：日期类型
    • Array：数组类型
    • Object：对象
  • index：是否索引，默认为 true，也就是说你不进行任何配置，所有字段都会被索引。
    • true：字段会被索引，则可以用来进行搜索
    • false：字段不会被索引，不能用来搜索
  • store：是否将数据进行独立存储，默认为 false
    • 原始的文本会存储在_source 里面，默认情况下其他提取出来的字段都不是独立存储的，是从_source 里面提取出来的。
    • 当然你也可以独立的存储某个字段，只要设置”store”: true 即可，获取独立存储的字段要比从_source 中解析快得多，但是也会占用更多的空间，所以要根据实际业务需求来设置。
  • analyzer：分词器，这里的 ik_max_word 即使用 ik 分词器

4.3、查看映射

三、Elasticsearch入门 - 图22

4.4、索引映射关联

  1. {
  2.     "settings": {},
  3.     "mappings": {
  4.         "properties": {
  5.             "name": {
  6.                 "type": "text",
  7.                 "index": true
  8.             },
  9.             "sex": {
  10.                 "type": "keyword",
  11.                 "index": false
  12.             },
  13.             "age": {
  14.                 "type": "long",
  15.                 "index": false
  16.             }
  17.         }
  18.     }
  19. }

三、Elasticsearch入门 - 图23

服务器响应结果如下：

  1. {
  2.     "acknowledged": true,
  3.     "shards_acknowledged": true,
  4.     "index": "user"
  5. }

5、高级查询

Elasticsearch 提供了基于 JSON 提供完整的查询 DSL 来定义查询

5.1、查看所有文档

  1. {
  2.     "query": {
  3.         "match_all": {}
  4.     }
  5. }
  7. # "query"：这里的 query 代表一个查询对象，里面可以有不同的查询属性
  8. # "match_all"：查询类型，例如：match_all(代表查询所有)， match，term ， range 等等
  9. # {查询条件}：查询条件会根据类型的不同，写法也有差异

三、Elasticsearch入门 - 图24

  1. {
  2.     "took": 1116, //【查询花费时间，单位毫秒】
  3.     "timed_out": false, //【是否超时】
  4.     "_shards": { //【分片信息】
  5.         "total": 1, //【总数】
  6.         "successful": 1, //【成功】
  7.         "skipped": 0, //【忽略】
  8.         "failed": 0 //【失败】
  9.     },
  10.     "hits": { //【搜索命中结果】
  11.         "total": { //【搜索条件匹配的文档总数】
  12.             "value": 3, //【总命中计数的值】
  13.             "relation": "eq" //【计数规则】 eq 表示计数准确， gte 表示计数不准确
  14.         },
  15.         "max_score": 1.0,//【匹配度分值】
  16.         "hits": [] //【命中结果集合】
  17.     }
  18. }

5.2、匹配查询

match 匹配类型查询，会把查询条件进行分词，然后进行查询，多个词条之间是 or 的关系

  1. {
  2.     "query": {
  3.         "match": {
  4.             "name": "zhangsan"
  5.         }
  6.     }
  7. }

三、Elasticsearch入门 - 图25

5.3、字段匹配查询

multi_match 与 match 类似，不同的是它可以在多个字段中查询。

  1. {
  2.     "query": {
  3.         "multi_match": {
  4.             "query": "zhangsan",
  5.             "fields": ["name", "nickname"]
  6.         }
  7.     }
  8. }

三、Elasticsearch入门 - 图26

5.4、关键字精确查询

term 查询，精确的关键词匹配查询，不对查询条件进行分词。

  1. {
  2.     "query": {
  3.         "term": {
  4.             "name": {
  5.                 "value": "zhangsan"
  6.             }
  7.         }
  8.     }
  9. }

三、Elasticsearch入门 - 图27

5.5、多关键字精确查询

terms 查询和 term 查询一样，但它允许你指定多值进行匹配。

如果这个字段包含了指定值中的任何一个值，那么这个文档满足条件，类似于 mysql 的 in

  1. {
  2.     "query": {
  3.         "terms": {
  4.             "name": ["zhangsan", "lisi"]
  5.         }
  6.     }
  7. }

三、Elasticsearch入门 - 图28

5.6、指定查询字段

默认情况下，Elasticsearch 在搜索的结果中，会把文档中保存在 _source 的所有字段都返回。

如果我们只想获取其中的部分字段，我们可以添加_source 的过滤

  1. {
  2.     "_source": ["name", "nickname"],
  3.     "query": {
  4.         "terms": {
  5.             "nickname": ["zhangsan"]
  6.         }
  7.     }
  8. }

三、Elasticsearch入门 - 图29

5.7、过滤字段

我们也可以通过：

  • includes：来指定想要显示的字段 
    1. {
    2.  "_source": {
    3.      "includes": ["name", "nickname"]
    4.  },
    5.  "query": {
    6.      "terms": {
    7.          "nickname": ["zhangsan"]
    8.      }
    9.  }
    10. }

三、Elasticsearch入门 - 图30

  • excludes：来指定不想要显示的字段
    三、Elasticsearch入门 - 图31 
    1. {
    2.  "_source": {
    3.      "excludes": ["name", "nickname"]
    4.  },
    5.  "query": {
    6.      "terms": {
    7.          "nickname": ["zhangsan"]
    8.      }
    9.  }
    10. }

5.8、组合查询

bool把各种其它查询通过must（必须 ）、must_not（必须不）、should（应该）的方式进行组合

  1. {
  2.     "query": {
  3.         "bool": {
  4.             "must": [{
  5.                 "match": {
  6.                     "name": "zhangsan"
  7.                 }
  8.             }],
  9.             "must_not": [{
  10.                 "match": {
  11.                     "age": "40"
  12.                 }
  13.             }],
  14.             "should": [{
  15.                 "match": {
  16.                     "sex": "男"
  17.                 }
  18.             }]
  19.         }
  20.     }
  21. }

三、Elasticsearch入门 - 图32

5.9、范围查询

range 查询找出那些落在指定区间内的数字或者时间。range 查询允许以下字符

操作符 说明
gt 大于>
gte 大于等于>=
lt 小于<
lte 小于等于<= 
  1. {
  2.     "query": {
  3.         "range": {
  4.             "age": {
  5.                 "gte": 30,
  6.                 "lte": 35
  7.             }
  8.         }
  9.     }
  10. }

三、Elasticsearch入门 - 图33

5.10、模糊查询

返回包含与搜索字词相似的字词的文档。

编辑距离是将一个术语转换为另一个术语所需的一个字符更改的次数。这些更改可以包括：

  • 更改字符（box → fox）
  • 删除字符（black → lack）
  • 插入字符（sic → sick）
  • 转置两个相邻字符（act → cat）

为了找到相似的术语，fuzzy 查询会在指定的编辑距离内创建一组搜索词的所有可能的变体或扩展。然后查询返回每个扩展的完全匹配。

  1. {
  2.     "query": {
  3.         "fuzzy": {
  4.             "title": {
  5.                 "value": "zhangsan"
  6.             }
  7.         }
  8.     }
  9. }

三、Elasticsearch入门 - 图34

通过 fuzziness 修改编辑距离。一般使用默认值 AUTO，根据术语的长度生成编辑距离。

  1. {
  2.     "query": {
  3.         "fuzzy": {
  4.             "title": {
  5.                 "value": "zhangsan",
  6.                 "fuzziness": 2
  7.             }
  8.         }
  9.     }
  10. }

三、Elasticsearch入门 - 图35

5.11、单字段排序

sort 可以让我们按照不同的字段进行排序，并且通过 order 指定排序的方式。desc 降序，asc升序。

  1. {
  2.     "query": {
  3.         "match": {
  4.             "name": "zhangsan"
  5.         }
  6.     },
  7.     "sort": [{
  8.         "age": {
  9.             "order": "desc"
  10.         }
  11.     }]
  12. }

三、Elasticsearch入门 - 图36

5.12、多字段排序

假定我们想要结合使用 age 和 _score 进行查询，并且匹配的结果首先按照年龄排序，然后按照相关性得分排序

  1. {
  2.     "query": {
  3.         "match_all": {}
  4.     },
  5.     "sort": [{
  6.             "age": {
  7.                 "order": "desc"
  8.             }
  9.         },
  10.         {
  11.             "_score": {
  12.                 "order": "desc"
  13.             }
  14.         }
  15.     ]
  16. }

三、Elasticsearch入门 - 图37

5.13、高亮查询

在进行关键字搜索时，搜索出的内容中的关键字会显示不同的颜色，称之为高亮。

Elasticsearch 可以对查询内容中的关键字部分，进行标签和样式(高亮)的设置。

在使用 match 查询的同时，加上一个 highlight 属性：

  • pre_tags：前置标签
  • post_tags：后置标签
  • fields：需要高亮的字段
  • title：这里声明 title 字段需要高亮，后面可以为这个字段设置特有配置，也可以空
  1. {
  2.     "query": {
  3.         "match": {
  4.             "name": "zhangsan"
  5.         }
  6.     },
  7.     "highlight": {
  8.         "pre_tags": "<font color='red'>",
  9.         "post_tags": "</font>",
  10.         "fields": {
  11.             "name": {}
  12.         }
  13.     }
  14. }

三、Elasticsearch入门 - 图38

5.14、分页查询

from：当前页的起始索引，默认从 0 开始。 from = (pageNum - 1) * size

size：每页显示多少条

  1. {
  2.     "query": {
  3.         "match_all": {}
  4.     },
  5.     "sort": [{
  6.         "age": {
  7.             "order": "desc"
  8.         }
  9.     }],
  10.     "from": 0,
  11.     "size": 2
  12. }

三、Elasticsearch入门 - 图39

5.15、聚合查询

聚合允许使用者对 es 文档进行统计分析，类似与关系型数据库中的 group by，当然还有很多其他的聚合，例如取最大值、平均值等等。

  • 对某个字段取最大值 max 
    1. {
    2.  "aggs": {
    3.      "max_age": {
    4.          "max": {
    5.              "field": "age"
    6.          }
    7.      }
    8.  },
    9.  "size": 0
    10. }

三、Elasticsearch入门 - 图40

  • 对某个字段取最小值 min
  1. {
  2.     "aggs": {
  3.         "min_age": {
  4.             "min": {
  5.                 "field": "age"
  6.             }
  7.         }
  8.     },
  9.     "size": 0
  10. }

三、Elasticsearch入门 - 图41

  • 对某个字段求和 sum 
    1. {
    2.  "aggs": {
    3.      "sum_age": {
    4.          "sum": {
    5.              "field": "age"
    6.          }
    7.      }
    8.  },
    9.  "size": 0
    10. }

三、Elasticsearch入门 - 图42

  • 对某个字段取平均值 avg 
    1. {
    2.  "aggs": {
    3.      "avg_age": {
    4.          "avg": {
    5.              "field": "age"
    6.          }
    7.      }
    8.  },
    9.  "size": 0
    10. }

三、Elasticsearch入门 - 图43

  • 对某个字段的值进行去重之后再取总数
  1. {
  2.     "aggs": {
  3.         "distinct_age": {
  4.             "cardinality": {
  5.                 "field": "age"
  6.             }
  7.         }
  8.     },
  9.     "size": 0
  10. }

三、Elasticsearch入门 - 图44

  • State 聚合
    stats 聚合，对某个字段一次性返回 count，max，min，avg 和 sum 五个指标 
  1. {
  2.     "aggs": {
  3.         "stats_age": {
  4.             "stats": {
  5.                 "field": "age"
  6.             }
  7.         }
  8.     },
  9.     "size": 0
  10. }

三、Elasticsearch入门 - 图45

6、桶聚合查询

桶聚和相当于 sql 中的 group by 语句

6.1、terms 聚合，分组统计

  1. {
  2.     "aggs": {
  3.         "age_groupby": {
  4.             "terms": {
  5.                 "field": "age"
  6.             }
  7.         }
  8.     },
  9.     "size": 0
  10. }

三、Elasticsearch入门 - 图46

6.2、在 terms 分组下再进行聚合

  1. {
  2.     "aggs": {
  3.         "age_groupby": {
  4.             "terms": {
  5.                 "field": "age"
  6.             }
  7.         }
  8.     },
  9.     "size": 0
  10. }

三、Elasticsearch入门 - 图47