在存在大量数据时,一般我们进行查询都需要进行分页查询。例如:我们指定页码、并指定每页显示多少条数据,然后Elasticsearch返回对应页码的数据。
1、使用from和size来进行分页
在执行查询时,可以指定from(从第几条数据开始查起)和size(每页返回多少条)数据,就可以轻松完成分页。
l from = (page – 1) * size
POST /es_db/_doc/_search{"from": 0,"size": 2,"query": {"match": {"address": "广州天河"}}}
from size的缺陷
使用from和size方式,查询在1W条数据以内都是OK的,但如果数据比较多的时候,会出现性能问题。Elasticsearch做了一个限制,不允许查询的是10000条以后的数据。
使用from和size方式,在进行大量分页时,每次分页都需要将要查询的数据进行重新排序,这样非常浪费性能。
如果要想深分页查询的话,就用scroll的方式进行分页
2、使用scroll方式进行分页
如果要查询1W条以后的数据,需要使用Elasticsearch中提供的scroll游标来查询。
使用scroll是将要用的数据一次性排序好,然后分批取出。性能要比from + size好得多。使用scroll查询后,排序后的数据会保持一定的时间,后续的分页查询都从该快照取数据即可。
2.1、第一次使用scroll分页查询
此处,我们让排序的数据保持1分钟,所以设置scroll为1m
下面dsl语句的意思是根据name和address字段进行查询,
scroll=1m 的意思是我这个数据帮我缓存1分钟时间(1分钟之后失效),后续查询都是在缓存里面拿 ,
GET /es_db/_search?scroll=1m{"query": {"multi_match": {"query": "广州长沙张三","fields": ["address","name"]}},"size": 1}
结果:
{"_scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAJYsWdE9PZWlLaFlRbDY4TU56QnFKVUdnUQ==","took" : 0,"timed_out" : false,"_shards" : {"total" : 1,"successful" : 1,"skipped" : 0,"failed" : 0},"hits" : {"total" : {"value" : 5,"relation" : "eq"},"max_score" : 2.2319849,"hits" : [{"_index" : "es_db","_type" : "_doc","_id" : "5","_score" : 2.2319849,"_source" : {"name" : "小明","sex" : 0,"age" : 19,"address" : "长沙岳麓山","remark" : "java architect assistant"}}]}}
“_scroll_id” : “DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAJYsWdE9PZWlLaFlRbDY4TU56QnFKVUdnUQ==”, 这个id值很重要,类似于批次号,你下次要再次进行查询的时候,带上这个_scroll_id之后,ElasticSearch就知道你查询的是哪一批的数据了,
前提是要在你scroll=1m 声明的这1分钟之内去查询,如果超过1分钟再查询就会出现问题了.
2.2、第二次直接使用scroll id进行查询
GET _search/scroll?scroll=1m{"scroll_id":"DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAJYsWdE9PZWlLaFlRbDY4TU56QnFKVUdnUQ=="}
就能查到下一次的数据了
结果:
{"_scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAH9QWZlgyLVBSYkZUZm03enRpRjZ0aXMzUQ==","took" : 7,"timed_out" : false,"_shards" : {"total" : 1,"successful" : 1,"skipped" : 0,"failed" : 0},"hits" : {"total" : {"value" : 5,"relation" : "eq"},"max_score" : 2.2319849,"hits" : [{"_index" : "es_db","_type" : "_doc","_id" : "4","_score" : 2.0822616,"_source" : {"name" : "admin","sex" : 0,"age" : 22,"address" : "长沙橘子洲头","remark" : "python assistant"}}]}}
2.3假如说用Java代码操作
如果你用Java代码的话, 你第一次深分页查询的时候,就没有_scroll_id这个参数,然后从返回的参数获取到 _scroll_id 这个,第二次深分页查询的时候就需要带上_scroll_id这个值了,
然后就是需要注意GET _search/scroll?scroll=1m 这种查询的时候设置的scroll=XXXm 的时间,如果超过了这个时间,那么数据就没了.
