:::tips ElasticSearch默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了，ElasticSearch中通过修改from、size参数来控制要返回的分页结果

  • from：从第多少个文档开始
  • size：一共查询多少个文档

深度分页问题

ElasticSearch分页查询990开始的10条数据时，也就是第990~第1000条数据，必须先查询0~1000条，然后截取其中的990~1000的这10条
image.png

想要查询排序后的前1000条数据，如果ElasticSearch是单点模式，并无太大影响，但是ElasticSearch如果是集群，集群中有多个节点，需要查询排序后的前1000条的数据，并不是每个节点平均查询一部分数据就可以了，因为一个节点查询排序后的前200条数据，在另一个节点可能就排到10000名以外了。因此要想获取整个集群的排序后的前1000条数据，必须先查询出每个节点排序后的前1000条数据，汇总结果后再重新排名，重新进行排序，然后截取排序后的前1000条数据
image.png

当查询分页深度较大时汇总的数据非常多，对内存和CPU会产生很大的压力，因此ElasticSearch禁止from+size的方式分页查询超过10000条数据

针对深度分页，ES提供了两种解决方案：

  • search after：分页时需要排序，原理是从上一次的排序值开始，查询下一页数据。官方推荐使用的方式
  • scroll：原理将排序后的文档id形成快照，保存在内存。官方已经不推荐使用

分页查询的常见实现方案以及优缺点：

  • from + size：
    • 优点：支持随机翻页
    • 缺点：深度分页问题，默认查询上限是10000条数据
    • 场景：百度、京东、谷歌、淘宝这样的随机翻页搜索
  • after search：
    • 优点：没有查询上限（单次查询的数据条数不能超过10000条）
    • 缺点：只能向后逐页查询，不支持随机翻页
    • 场景：没有随机翻页需求的搜索，例如手机向下滚动翻页
  • scroll：
    • 优点：没有查询上限（单次查询的size不超过10000）
    • 缺点：会有额外内存消耗，并且搜索结果是非实时的
    • 场景：海量数据的获取和迁移。从ES7.1开始不推荐，建议用after search方案 :::
      1. GET /索引库名/_search
      2. {
      3. "query": {
      4. "match_all": {}
      5. },
      6. "from": 从第多少个文档开始,
      7. "size": 一共查询多少个文档,
      8. "sort": [
      9. { "字段名": "排序方式" }
      10. ]
      11. }