基本认识

了解ES

概念

elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。
elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。

elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。
image.png
Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：https://lucene.apache.org/ 。
Lucene的优势：

  • 易扩展
  • 高性能（基于倒排索引）

Lucene的缺点：

  • 只限于Java语言开发
  • 学习曲线陡峭
  • 不支持水平扩展

    elasticsearch的发展

    2004年Shay Banon基于Lucene开发了Compass
    2010年Shay Banon 重写了Compass，取名为Elasticsearch。
    官网地址: https://www.elastic.co/cn/
    目前最新的版本是：
    相比与lucene，elasticsearch具备下列优势：
    支持分布式，可水平扩展
    提供Restful接口，可被任何语言调用

为什么学习elasticsearch？

搜索引擎技术排名：

  1. Elasticsearch：开源的分布式搜索引擎
  2. Splunk：商业项目
  3. Solr：Apache的开源搜索引擎

image.png

小结：

什么是elasticsearch？

  • 一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能

什么是elastic stack（ELK）？

  • 是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch

什么是Lucene？

  • 是Apache的开源搜索引擎类库，提供了搜索引擎的核心API

    正向索引和倒排索引

    传统数据库（如MySQL）采用正向索引，例如给下表（tb_goods）中的id创建索引：
    image.png
    elasticsearch采用倒排索引：

  • 文档（document）：每条数据就是一个文档

  • 词条（term）：文档按照语义分成的词语

image.png
image.png

文档

elasticsearch是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。
文档数据会被序列化为json格式后存储在elasticsearch中。
image.png

索引

索引（index）：相同类型的文档的集合
映射（mapping）：索引中文档的字段约束信息，类似表的结构约束
image.png
建立索引后：—>
image.png

与MySQL对比

image.png

架构

Mysql：擅长事务类型操作，可以确保数据的安全和一致性
Elasticsearch：擅长海量数据的搜索、分析、计算
image.png

小结

什么是文档和词条？

  • 每一条数据就是一个文档
  • 对文档中的内容分词，得到的词语就是词条

什么是正向索引？

  • 基于文档id创建索引。查询词条时必须先找到文档，而后判断是否包含词条

什么是倒排索引？

  • 对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档

文档：一条数据就是一个文档，es中是Json格式
字段：Json文档中的字段
索引：同类型文档的集合
映射：索引中文档的约束，比如字段名称、类型
elasticsearch与数据库的关系：

  • 数据库负责事务类型操作
  • elasticsearch负责海量数据的搜索、分析、计算

安装elasticsearch

1.部署单点es

1.1.创建网络

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：

  1. docker network create es-net

1.2.加载镜像

这里我们采用elasticsearch的7.12.1版本的镜像，这个镜像体积非常大，接近1G。不建议大家自己pull。

课前资料提供了镜像的tar包：es.tar 也可以直接下载镜像包

大家将其上传到虚拟机中，然后运行命令加载即可：

  1. # 导入数据
  2. docker load -i es.tar

同理还有kibana的tar包也需要这样做。

1.3.运行

运行docker命令，部署单点es：

  1. docker run -d \
  2.     --name es \
  3.     -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
  4.     -e "discovery.type=single-node" \
  5.     -v es-data:/usr/share/elasticsearch/data \
  6.     -v es-plugins:/usr/share/elasticsearch/plugins \
  7.     --privileged \
  8.     --network es-net \
  9.     -p 9200:9200 \
  10.     -p 9300:9300 \
  11. elasticsearch:7.12.1

命令解释：

  • -e "cluster.name=es-docker-cluster"：设置集群名称
  • -e "http.host=0.0.0.0"：监听的地址，可以外网访问
  • -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小
  • -e "discovery.type=single-node"：非集群模式
  • -v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录
  • -v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录
  • -v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录
  • --privileged：授予逻辑卷访问权
  • --network es-net ：加入一个名为es-net的网络中
  • -p 9200:9200：端口映射配置

在浏览器中输入：http://ip:9200 即可看到elasticsearch的响应结果：

image.png

2.部署kibana

kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习。

2.1.部署

运行docker命令，部署kibana

  1. docker run -d \
  2. --name kibana \
  3. -e ELASTICSEARCH_HOSTS=http://es:9200 \
  4. --network=es-net \
  5. -p 5601:5601  \
  6. kibana:7.12.1
  • --network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
  • -e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
  • -p 5601:5601：端口映射配置

kibana启动一般比较慢，需要多等待一会，可以通过命令：

  1. docker logs -f kibana

查看运行日志，当查看到下面的日志，说明成功：

image.png

此时，在浏览器输入地址访问：http://192.168.150.101:5601，即可看到结果
image.png

2.2.DevTools

kibana中提供了一个DevTools界面：

image.png

这个界面中可以编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能。

3.安装IK分词器

处理中文分词，一般会使用IK分词器。https://github.com/medcl/elasticsearch-analysis-ik
ik分词器包含两种模式：

  • ik_smart：最少切分，粗粒度
  • ik_max_word：最细切分，细粒度

3.1.在线安装ik插件（较慢）

  1. # 进入容器内部
  2. docker exec -it elasticsearch /bin/bash
  4. # 在线下载并安装
  5. ./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip
  7. #退出
  8. exit
  9. #重启容器
  10. docker restart elasticsearch

3.2.离线安装ik插件（推荐）

1）查看数据卷目录

安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看:

  1. docker volume inspect es-plugins

显示结果：

  1. [
  2.     {
  3.         "CreatedAt": "2022-05-06T10:06:34+08:00",
  4.         "Driver": "local",
  5.         "Labels": null,
  6.         "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
  7.         "Name": "es-plugins",
  8.         "Options": null,
  9.         "Scope": "local"
  10.     }
  11. ]

说明plugins目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data这个目录中。

2）解压缩分词器安装包

下面我们需要把课前资料中的ik分词器解压缩，重命名为ik

3）上传到es容器的插件数据卷中

也就是/var/lib/docker/volumes/es-plugins/_data：

4）重启容器

  1. # 4、重启容器
  2. docker restart es
  1. # 查看es日志
  2. docker logs -f es

5）测试：

IK分词器包含两种模式：

  • ik_smart：最少切分
  • ik_max_word：最细切分 
  1. GET /_analyze
  2. {
  3.   "analyzer": "ik_max_word",
  4.   "text": "黑马程序员学习java太棒了"
  5. }

结果：

  1. {
  2.   "tokens" : [
  3.     {
  4.       "token" : "黑马",
  5.       "start_offset" : 0,
  6.       "end_offset" : 2,
  7.       "type" : "CN_WORD",
  8.       "position" : 0
  9.     },
  10.     {
  11.       "token" : "程序员",
  12.       "start_offset" : 2,
  13.       "end_offset" : 5,
  14.       "type" : "CN_WORD",
  15.       "position" : 1
  16.     },
  17.     {
  18.       "token" : "程序",
  19.       "start_offset" : 2,
  20.       "end_offset" : 4,
  21.       "type" : "CN_WORD",
  22.       "position" : 2
  23.     },
  24.     {
  25.       "token" : "员",
  26.       "start_offset" : 4,
  27.       "end_offset" : 5,
  28.       "type" : "CN_CHAR",
  29.       "position" : 3
  30.     },
  31.     {
  32.       "token" : "学习",
  33.       "start_offset" : 5,
  34.       "end_offset" : 7,
  35.       "type" : "CN_WORD",
  36.       "position" : 4
  37.     },
  38.     {
  39.       "token" : "java",
  40.       "start_offset" : 7,
  41.       "end_offset" : 11,
  42.       "type" : "ENGLISH",
  43.       "position" : 5
  44.     },
  45.     {
  46.       "token" : "太棒了",
  47.       "start_offset" : 11,
  48.       "end_offset" : 14,
  49.       "type" : "CN_WORD",
  50.       "position" : 6
  51.     },
  52.     {
  53.       "token" : "太棒",
  54.       "start_offset" : 11,
  55.       "end_offset" : 13,
  56.       "type" : "CN_WORD",
  57.       "position" : 7
  58.     },
  59.     {
  60.       "token" : "了",
  61.       "start_offset" : 13,
  62.       "end_offset" : 14,
  63.       "type" : "CN_CHAR",
  64.       "position" : 8
  65.     }
  66.   ]
  67. }

3.3 扩展词词典

随着互联网的发展，“造词运动”也越发的频繁。出现了很多新的词语，在原有的词汇列表中并不存在。比如：“奥力给”，“传智播客” 等。

所以我们的词汇也需要不断的更新，IK分词器提供了扩展词汇的功能。

1）打开IK分词器config目录：

image.png
2）在IKAnalyzer.cfg.xml配置文件内容添加：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
  3. <properties>
  4.         <comment>IK Analyzer 扩展配置</comment>
  5.         <!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->
  6.         <entry key="ext_dict">ext.dic</entry>
  7. </properties>

3）新建一个 ext.dic，可以参考config目录下复制一个配置文件进行修改

  1. 传智播客
  2. 奥力给

4）重启elasticsearch

  1. docker restart es
  3. # 查看 日志
  4. docker logs -f elasticsearch

日志中已经成功加载ext.dic配置文件

5）测试效果：

  1. GET /_analyze
  2. {
  3.   "analyzer": "ik_max_word",
  4.   "text": "传智播客Java就业超过90%,奥力给！"
  5. }

注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

3.4 停用词词典

在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。

IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。

1）IKAnalyzer.cfg.xml配置文件内容添加：

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
  3. <properties>
  4.         <comment>IK Analyzer 扩展配置</comment>
  5.         <!--用户可以在这里配置自己的扩展字典-->
  6.         <entry key="ext_dict">ext.dic</entry>
  7.          <!--用户可以在这里配置自己的扩展停止词字典  *** 添加停用词词典-->
  8.         <entry key="ext_stopwords">stopword.dic</entry>
  9. </properties>

3）在 stopword.dic 添加停用词

  1. 习大大

4）重启elasticsearch

  1. # 重启服务
  2. docker restart elasticsearch
  3. docker restart kibana
  5. # 查看 日志
  6. docker logs -f elasticsearch

日志中已经成功加载stopword.dic配置文件

5）测试效果：

  1. GET /_analyze
  2. {
  3.   "analyzer": "ik_max_word",
  4.   "text": "传智播客Java就业率超过95%,习大大都点赞,奥力给！"
  5. }

注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

分词器总结

分词器的作用是什么？

  • 创建倒排索引时对文档分词
  • 用户搜索时，对输入的内容分词

IK分词器有几种模式？

  • ik_smart：智能切分，粗粒度
  • ik_max_word：最细切分，细粒度

IK分词器如何拓展词条？如何停用词条？

  • 利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典
  • 在词典中添加拓展词条或者停用词条

4.部署es集群

部署es集群可以直接使用docker-compose来完成，不过要求你的Linux虚拟机至少有4G的内存空间

首先编写一个docker-compose文件，内容如下：

  1. version: '2.2'
  2. services:
  3.   es01:
  4.     image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
  5.     container_name: es01
  6.     environment:
  7.       - node.name=es01
  8.       - cluster.name=es-docker-cluster
  9.       - discovery.seed_hosts=es02,es03
  10.       - cluster.initial_master_nodes=es01,es02,es03
  11.       - bootstrap.memory_lock=true
  12.       - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  13.     ulimits:
  14.       memlock:
  15.         soft: -1
  16.         hard: -1
  17.     volumes:
  18.       - data01:/usr/share/elasticsearch/data
  19.     ports:
  20.       - 9200:9200
  21.     networks:
  22.       - elastic
  23.   es02:
  24.     image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
  25.     container_name: es02
  26.     environment:
  27.       - node.name=es02
  28.       - cluster.name=es-docker-cluster
  29.       - discovery.seed_hosts=es01,es03
  30.       - cluster.initial_master_nodes=es01,es02,es03
  31.       - bootstrap.memory_lock=true
  32.       - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  33.     ulimits:
  34.       memlock:
  35.         soft: -1
  36.         hard: -1
  37.     volumes:
  38.       - data02:/usr/share/elasticsearch/data
  39.     networks:
  40.       - elastic
  41.   es03:
  42.     image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
  43.     container_name: es03
  44.     environment:
  45.       - node.name=es03
  46.       - cluster.name=es-docker-cluster
  47.       - discovery.seed_hosts=es01,es02
  48.       - cluster.initial_master_nodes=es01,es02,es03
  49.       - bootstrap.memory_lock=true
  50.       - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  51.     ulimits:
  52.       memlock:
  53.         soft: -1
  54.         hard: -1
  55.     volumes:
  56.       - data03:/usr/share/elasticsearch/data
  57.     networks:
  58.       - elastic
  60. volumes:
  61.   data01:
  62.     driver: local
  63.   data02:
  64.     driver: local
  65.   data03:
  66.     driver: local
  68. networks:
  69.   elastic:
  70.     driver: bridge

Run docker-compose to bring up the cluster:

  1. docker-compose up

索引库操作

mapping属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

  • type：字段数据类型，常见的简单类型有：
    • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
    • 数值：long、integer、short、byte、double、float、
    • 布尔：boolean
    • 日期：date
    • 对象：object
  • index：是否创建索引，默认为true
  • analyzer：使用哪种分词器
  • properties：该字段的子字段

image.png
mapping常见属性有哪些？

  • type：数据类型
  • index：是否索引
  • analyzer：分词器
  • properties：子字段

type常见的有哪些？

  • 字符串：text、keyword
  • 数字：long、integer、short、byte、double、float
  • 布尔：boolean
  • 日期：date
  • 对象：object

    创建索引库

    ES中通过Restful请求操作索引库、文档。请求内容用DSL语句来表示。创建索引库和mapping的DSL语法如下：
    image.pngimage.png

    查看、删除索引库

    查看索引库语法：
    GET /索引库名 —-> GET /heima

删除索引库的语法：
DELETE /索引库名 —->DELETE /heima

修改索引库

索引库和mapping一旦创建无法修改，但是可以添加新的字段，语法如下：
不允许修改已有字段，但是可以添加新字段
image.png
小结：
索引库操作有哪些？

  • 创建索引库：PUT /索引库名
  • 查询索引库：GET /索引库名
  • 删除索引库：DELETE /索引库名
  • 添加字段：PUT /索引库名/_mapping

    文档操作

    添加文档

    新增文档的DSL语法如下：
    image.png

    查看、删除文档

    查看文档语法：
    GET /索引库名/_doc/文档id —-> GET /heima/_doc/1

删除索引库的语法:
DELETE /索引库名/_doc/文档id ——> DELETE /heima/_doc/1

修改文档

方式一：全量修改，会删除旧文档，添加新文档
image.png
方式二：增量修改，修改指定字段值

image.png

RestClient操作索引库

什么是RestClient

ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。官方文档地址：https://www.elastic.co/guide/en/elasticsearch/client/index.html
image.png

分析数据结构

mapping要考虑的问题：
字段名、数据类型、是否参与搜索、是否分词、如果分词，分词器是什么？

ES中支持两种地理坐标数据类型：

  • geo_point：由纬度（latitude）和经度（longitude）确定的一个点。例如：”32.8752345, 120.2981576”
  • geo_shape：有多个geo_point组成的复杂几何图形。例如一条直线，”LINESTRING (-77.03653 38.897676, -77.009051 38.889939)”

https://blog.csdn.net/weixin_44757863/article/details/120959505

DSL查询文档

DSL查询分类

Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括：

  • 查询所有：查询出所有数据，一般测试用。例如：match_all
  • 全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：
    • match_query
    • multi_match_query
  • 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：
    • ids
    • range
    • term
  • 地理（geo）查询：根据经纬度查询。例如：
    • geo_distance
    • geo_bounding_box
  • 复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：
    • bool
    • function_score

DSL Query基本语法

查询的基本语法如下：
image.png

全文检索查询

全文检索查询，会对用户输入内容粉刺，常用于搜索框搜索
image.png
match查询：全文检索查询的一种，会对用户输入内容分词，然后去倒排索引库检索，语法：
FIELD： 字段， TEXT：查询的内容
image.pngimage.png
multi_match：与match查询类似，只不过允许同时查询多个字段，语法：
image.pngimage.png
match和multi_match的区别是什么？

  • match：根据一个字段查询

  • multi_match：根据多个字段查询，参与查询字段越多，查询性能越差

    精确查询

    精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有：

  • term：根据词条精确值查询

  • range：根据值的范围查询

image.png

精确查询一般是根据id、数值、keyword类型、布尔字段来查询，语法如下：
term查询：
image.png
range查询：
image.png

  • term查询：根据词条精确匹配，一般搜索keyword类型、数值类型、布尔类型、日期类型字段

  • range查询：根据数值范围查询，可以是数值、日期的范围

    地理查询

    根据经纬度查询。常见的使用场景包括：

  • 携程：搜索我附近的酒店

  • 滴滴：搜索我附近的出租车
  • 微信：搜索我附近的人

根据经纬度查询，官方文档。例如：

  • geo_bounding_box：查询geo_point值落在某个矩形范围的所有文档

image.pngimage.png

  • geo_distance：查询到指定中心点小于某个距离值的所有文档

image.png
image.png

复合查询

复合（compound）查询：复合查询可以将其它简单查询组合起来，实现更复杂的搜索逻辑，例如：

  • fuction score：算分函数查询，可以控制文档相关性算分，控制文档排名。例如百度竞价

相关性算分：
当我们利用match查询时，文档结果会根据与搜索词条的关联度打分（_score），返回结果时按照分值降序排列。
例如，我们搜索 “虹桥如家”，结果如下：
image.png
image.png
elasticsearch中的相关性打分算法是什么？

  • TF-IDF：在elasticsearch5.0之前，会随着词频增加而越来越大
  • BM25：在elasticsearch5.0之后，会随着词频增加而增大，但增长曲线会趋于水平

Function Score Query

使用 function score query，可以修改文档的相关性算分（query score），根据新得到的算分排序。
image.png

案例：给“如家”这个品牌的酒店排名靠前一些

把这个问题翻译一下，function score需要的三要素：

  1. 哪些文档需要算分加权？
    • 品牌为如家的酒店
  2. 算分函数是什么？
    • weight就可以
  3. 加权模式是什么？
    • 求和

image.png

function score query定义的三要素是什么？

  • 过滤条件：哪些文档要加分
  • 算分函数：如何计算function score
  • 加权方式：function score 与 query score如何运算

Boolean Query

布尔查询是一个或多个查询子句的组合。子查询的组合方式有：

  • must：必须匹配每个子查询，类似“与”
  • should：选择性匹配子查询，类似“或”
  • must_not：必须不匹配，不参与算分，类似“非”
  • filter：必须匹配，不参与算分

image.png
image.png

image.png

搜索结果处理

排序

elasticsearch支持对搜索结果排序，默认是根据相关度算分（_score）来排序。可以排序字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。
和query同级，sort 和 query 同级！
image.png

分页

elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了。
elasticsearch中通过修改from、size参数来控制要返回的分页结果：
image.png
深度分页问题：
ES是分布式的，所以会面临深度分页问题。例如按price排序后，获取from = 990，size =10的数据：

  1. 首先在每个数据分片上都排序并查询前1000条文档。
  2. 然后将所有节点的结果聚合，在内存中重新排序选出前1000条文档
  3. 最后从这1000条中，选取从990开始的10条文档

如果搜索页数过深，或者结果集（from + size）越大，对内存和CPU的消耗也越高。因此ES设定结果集查询的上限是10000
image.png

针对深度分页，ES提供了两种解决方案，官方文档 https://www.elastic.co/guide/en/elasticsearch/reference/current/paginate-search-results.html：

  • search after：分页时需要排序，原理是从上一次的排序值开始，查询下一页数据。官方推荐使用的方式。
  • scroll：原理将排序数据形成快照，保存在内存。官方已经不推荐使用。

分页对比：
from + size：

  • 优点：支持随机翻页
  • 缺点：深度分页问题，默认查询上限（from + size）是10000
  • 场景：百度、京东、谷歌、淘宝这样的随机翻页搜索

after search：

  • 优点：没有查询上限（单次查询的size不超过10000）
  • 缺点：只能向后逐页查询，不支持随机翻页
  • 场景：没有随机翻页需求的搜索，例如手机向下滚动翻页

scroll：

  • 优点：没有查询上限（单次查询的size不超过10000）
  • 缺点：会有额外内存消耗，并且搜索结果是非实时的

  • 场景：海量数据的获取和迁移。从ES7.1开始不推荐，建议用 after search方案。

    高亮

    高亮：就是在搜索结果中把搜索关键字突出显示。
    原理是这样的：

  • 将搜索结果中的关键字用标签标记出来

  • 在页面中给标签添加css样式

与query同级
语法：
image.png
image.png

  1. GET /hotel/_search
  2. {
  3.   "query": {
  4.     "match": {
  5.       "name": "如家"
  6.     }
  7.   },
  8.   "from": 0, // 分页开始的位置
  9.   "size": 20, // 期望获取的文档总数
  10.   "sort": [ 
  11.     {  "price": "asc" }, // 普通排序
  12.     {
  13.       "_geo_distance" : { // 距离排序
  14.         "location" : "31.040699,121.618075", 
  15.         "order" : "asc",
  16.         "unit" : "km"
  17.       }
  18.     }
  19.   ],
  20.   "highlight": {
  21.     "fields": { // 高亮字段
  22.       "name": {
  23.         "pre_tags": "<em>",  // 用来标记高亮字段的前置标签
  24.         "post_tags": "</em>" // 用来标记高亮字段的后置标签
  25.       }
  26.     }
  27.   }
  28. }

RestClient查询文档 ES 8.0以后改为API Clinet

我们通过match_all来演示下基本的API，先看请求DSL的组织：
image.png
我们通过match_all来演示下基本的API，再看结果的解析：
image.png
RestAPI中其中构建DSL是通过HighLevelRestClient中的resource()来实现的，其中包含了查询、排序、分页、高亮等所有功能：
image.png
RestAPI中其中构建查询条件的核心部分是由一个名为QueryBuilders的工具类提供的，其中包含了各种查询方法：
image.png
查询的基本步骤是：

  1. 创建SearchRequest对象
  2. 准备Request.source()，也就是DSL。
    1. QueryBuilders来构建查询条件
    2. 传入Request.source() 的 query() 方法
  3. 发送请求，得到结果
  4. 解析结果（参考JSON结果，从外到内，逐层解析）

    全文检索查询

    全文检索的match和multi_match查询与match_all的API基本一致。差别是查询条件，也就是query的部分。
    同样是利用QueryBuilders提供的方法：
    image.png

    精确查询

    精确查询常见的有term查询和range查询，同样利用QueryBuilders实现：
    image.png

    复合查询-boolean query

    精确查询常见的有term查询和range查询，同样利用QueryBuilders实现：
    image.png
    要构建查询条件，只要记住一个类：QueryBuilders

    排序和分页

    搜索结果的排序和分页是与query同级的参数，对应的API如下：
    image.png

    高亮

    高亮API包括请求DSL构建和结果解析两部分。我们先看请求的DSL构建：
    image.png

    高亮结果解析

    高亮的结果处理相对比较麻烦：
    image.png
    所有搜索DSL的构建，记住一个API：SearchRequest的source()方法。
    高亮结果解析是参考JSON结果，逐层解析