在存在大量数据时,一般我们进行查询都需要进行分页查询。例如:我们指定页码、并指定每页显示多少条数据,然后Elasticsearch返回对应页码的数据。
1、使用from和size来进行分页
在执行查询时,可以指定from(从第几条数据开始查起)和size(每页返回多少条)数据,就可以轻松完成分页。
l from = (page – 1) * size
POST /es_db/_doc/_search
{
"from": 0,
"size": 2,
"query": {
"match": {
"address": "广州天河"
}
}
}
from size的缺陷
使用from和size方式,查询在1W条数据以内都是OK的,但如果数据比较多的时候,会出现性能问题。Elasticsearch做了一个限制,不允许查询的是10000条以后的数据。
使用from和size方式,在进行大量分页时,每次分页都需要将要查询的数据进行重新排序,这样非常浪费性能。
如果要想深分页查询的话,就用scroll的方式进行分页
2、使用scroll方式进行分页
如果要查询1W条以后的数据,需要使用Elasticsearch中提供的scroll游标来查询。
使用scroll是将要用的数据一次性排序好,然后分批取出。性能要比from + size好得多。使用scroll查询后,排序后的数据会保持一定的时间,后续的分页查询都从该快照取数据即可。
2.1、第一次使用scroll分页查询
此处,我们让排序的数据保持1分钟,所以设置scroll为1m
下面dsl语句的意思是根据name和address字段进行查询,
scroll=1m 的意思是我这个数据帮我缓存1分钟时间(1分钟之后失效),后续查询都是在缓存里面拿 ,
GET /es_db/_search?scroll=1m
{
"query": {
"multi_match": {
"query": "广州长沙张三",
"fields": [
"address",
"name"
]
}
},
"size": 1
}
结果:
{
"_scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAJYsWdE9PZWlLaFlRbDY4TU56QnFKVUdnUQ==",
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 5,
"relation" : "eq"
},
"max_score" : 2.2319849,
"hits" : [
{
"_index" : "es_db",
"_type" : "_doc",
"_id" : "5",
"_score" : 2.2319849,
"_source" : {
"name" : "小明",
"sex" : 0,
"age" : 19,
"address" : "长沙岳麓山",
"remark" : "java architect assistant"
}
}
]
}
}
“_scroll_id” : “DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAJYsWdE9PZWlLaFlRbDY4TU56QnFKVUdnUQ==”, 这个id值很重要,类似于批次号,你下次要再次进行查询的时候,带上这个_scroll_id之后,ElasticSearch就知道你查询的是哪一批的数据了,
前提是要在你scroll=1m 声明的这1分钟之内去查询,如果超过1分钟再查询就会出现问题了.
2.2、第二次直接使用scroll id进行查询
GET _search/scroll?scroll=1m
{
"scroll_id":"DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAJYsWdE9PZWlLaFlRbDY4TU56QnFKVUdnUQ=="
}
就能查到下一次的数据了
结果:
{
"_scroll_id" : "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAAH9QWZlgyLVBSYkZUZm03enRpRjZ0aXMzUQ==",
"took" : 7,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 5,
"relation" : "eq"
},
"max_score" : 2.2319849,
"hits" : [
{
"_index" : "es_db",
"_type" : "_doc",
"_id" : "4",
"_score" : 2.0822616,
"_source" : {
"name" : "admin",
"sex" : 0,
"age" : 22,
"address" : "长沙橘子洲头",
"remark" : "python assistant"
}
}
]
}
}
2.3假如说用Java代码操作
如果你用Java代码的话, 你第一次深分页查询的时候,就没有_scroll_id这个参数,然后从返回的参数获取到 _scroll_id 这个,第二次深分页查询的时候就需要带上_scroll_id这个值了,
然后就是需要注意GET _search/scroll?scroll=1m 这种查询的时候设置的scroll=XXXm 的时间,如果超过了这个时间,那么数据就没了.