在存在大量数据时,一般我们进行查询都需要进行分页查询。例如:我们指定页码、并指定每页显示多少条数据,然后Elasticsearch返回对应页码的数据。

1、使用from和size来进行分页

在执行查询时,可以指定from(从第几条数据开始查起)和size(每页返回多少条)数据,就可以轻松完成分页。
l from = (page – 1) * size

  1. POST /es_db/_doc/_search
  2. {
  3. "from": 0,
  4. "size": 2,
  5. "query": {
  6. "match": {
  7. "address": "广州天河"
  8. }
  9. }
  10. }

from size的缺陷

使用from和size方式,查询在1W条数据以内都是OK的,但如果数据比较多的时候,会出现性能问题。Elasticsearch做了一个限制,不允许查询的是10000条以后的数据。

使用from和size方式,在进行大量分页时,每次分页都需要将要查询的数据进行重新排序,这样非常浪费性能。
如果要想深分页查询的话,就用scroll的方式进行分页

2、使用scroll方式进行分页

如果要查询1W条以后的数据,需要使用Elasticsearch中提供的scroll游标来查询。

使用scroll是将要用的数据一次性排序好,然后分批取出。性能要比from + size好得多。使用scroll查询后,排序后的数据会保持一定的时间,后续的分页查询都从该快照取数据即可。

2.1、第一次使用scroll分页查询

此处,我们让排序的数据保持1分钟,所以设置scroll为1m

下面dsl语句的意思是根据name和address字段进行查询,

scroll=1m 的意思是我这个数据帮我缓存1分钟时间(1分钟之后失效),后续查询都是在缓存里面拿 ,

  1. GET /es_db/_search?scroll=1m
  2. {
  3. "query": {
  4. "multi_match": {
  5. "query": "广州长沙张三",
  6. "fields": [
  7. "address",
  8. "name"
  9. ]
  10. }
  11. },
  12. "size": 1
  13. }

结果:

  1. {
  2. "_scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAJYsWdE9PZWlLaFlRbDY4TU56QnFKVUdnUQ==",
  3. "took" : 0,
  4. "timed_out" : false,
  5. "_shards" : {
  6. "total" : 1,
  7. "successful" : 1,
  8. "skipped" : 0,
  9. "failed" : 0
  10. },
  11. "hits" : {
  12. "total" : {
  13. "value" : 5,
  14. "relation" : "eq"
  15. },
  16. "max_score" : 2.2319849,
  17. "hits" : [
  18. {
  19. "_index" : "es_db",
  20. "_type" : "_doc",
  21. "_id" : "5",
  22. "_score" : 2.2319849,
  23. "_source" : {
  24. "name" : "小明",
  25. "sex" : 0,
  26. "age" : 19,
  27. "address" : "长沙岳麓山",
  28. "remark" : "java architect assistant"
  29. }
  30. }
  31. ]
  32. }
  33. }

“_scroll_id” : “DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAJYsWdE9PZWlLaFlRbDY4TU56QnFKVUdnUQ==”, 这个id值很重要,类似于批次号,你下次要再次进行查询的时候,带上这个_scroll_id之后,ElasticSearch就知道你查询的是哪一批的数据了,
前提是要在你scroll=1m 声明的这1分钟之内去查询,如果超过1分钟再查询就会出现问题了.

2.2、第二次直接使用scroll id进行查询

  1. GET _search/scroll?scroll=1m
  2. {
  3. "scroll_id":"DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAJYsWdE9PZWlLaFlRbDY4TU56QnFKVUdnUQ=="
  4. }

就能查到下一次的数据了

结果:

  1. {
  2. "_scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAH9QWZlgyLVBSYkZUZm03enRpRjZ0aXMzUQ==",
  3. "took" : 7,
  4. "timed_out" : false,
  5. "_shards" : {
  6. "total" : 1,
  7. "successful" : 1,
  8. "skipped" : 0,
  9. "failed" : 0
  10. },
  11. "hits" : {
  12. "total" : {
  13. "value" : 5,
  14. "relation" : "eq"
  15. },
  16. "max_score" : 2.2319849,
  17. "hits" : [
  18. {
  19. "_index" : "es_db",
  20. "_type" : "_doc",
  21. "_id" : "4",
  22. "_score" : 2.0822616,
  23. "_source" : {
  24. "name" : "admin",
  25. "sex" : 0,
  26. "age" : 22,
  27. "address" : "长沙橘子洲头",
  28. "remark" : "python assistant"
  29. }
  30. }
  31. ]
  32. }
  33. }

2.3假如说用Java代码操作


如果你用Java代码的话, 你第一次深分页查询的时候,就没有_scroll_id这个参数,然后从返回的参数获取到 _scroll_id 这个,第二次深分页查询的时候就需要带上_scroll_id这个值了,
然后就是需要注意GET _search/scroll?scroll=1m 这种查询的时候设置的scroll=XXXm 的时间,如果超过了这个时间,那么数据就没了.