聚合(aggregations可以让我们极其方便的实现对数据的统计、分析、运算。

  • 什么品牌的手机最受欢迎?
  • 这些手机的平均价格、最高价格、最低价格?
  • 这些手机每月的销售情况如何?

    聚合的种类

    聚合常见的有三类:

  • 桶(Bucket)聚合:用来对文档做分组

    • TermAggregation:按照文档字段值分组,例如按照品牌值分组、按照国家分组
    • Date Histogram:按照日期阶梯分组,例如一周为一组,或者一月为一组
  • 度量(Metric)聚合:用以计算一些值,比如:最大值、最小值、平均值等
    • Avg:求平均值
    • Max:求最大值
    • Min:求最小值
    • Stats:同时求max、min、avg、sum等
  • 管道(pipeline)聚合:其它聚合的结果为基础做聚合 :::danger 注意:参加聚合的字段必须是keyword、日期、数值、布尔类型 :::

    DSL实现聚合

    Bucket聚合

    现在,我们要统计所有数据中的酒店品牌有几种,其实就是按照品牌对数据分组。此时可以根据酒店品牌的名称做聚合,也就是Bucket聚合。

    1. GET /hotel/_search
    2. {
    3. "size": 0, #设置size0,结果中不包含文档,只包含聚合结果
    4. "aggs": { #定义聚合,可以有多个聚合,一个名字一个聚合,不影响,如果要根据a聚合的基础上执行b聚合,在a聚合里面写子聚合,看下面的pipline聚合
    5. "brandAgg": { #给聚合起个名字,随意取的
    6. "terms": { #聚合的类型,按照品牌值聚合,所以选择term
    7. "field": "brand", #参与聚合的字段brand
    8. "size": 20 #希望获取的聚合结果数量
    9. }
    10. }
    11. }
    12. }

    image.png

    聚合结果排序

    默认情况下,Bucket聚合会统计Bucket内的文档数量,记为_count,并且按照_count降序排序。
    我们可以指定order属性,自定义聚合的排序方式:

    1. GET /hotel/_search
    2. {
    3. "size": 0,
    4. "aggs": {
    5. "brandAgg": {
    6. "terms": {
    7. "field": "brand",
    8. "order": {
    9. "_count": "asc" #按照_count升序排列,写doc_count报错
    10. },
    11. "size": 20
    12. }
    13. }
    14. }
    15. }

    限定聚合范围

    默认情况下,Bucket聚合是对索引库的所有文档做聚合,但真实场景下,用户会输入搜索条件,因此聚合必须是对搜索结果聚合。那么聚合必须添加限定条件。
    我们可以限定要聚合的文档范围,只要添加query条件即可:

    1. GET /hotel/_search
    2. {
    3. "query": { #加入查询就可以限制聚合范围了
    4. "range": {
    5. "price": {
    6. "lte": 200 #只对200元以下的酒店聚合
    7. }
    8. }
    9. },
    10. "size": 0,
    11. "aggs": {
    12. "brandAgg": {
    13. "terms": {
    14. "field": "brand",
    15. "order": {
    16. "_count": "asc"
    17. },
    18. "size": 20
    19. }
    20. }
    21. }
    22. }

    Metric聚合

    统计酒店的平均分,最高分,最低分,总分等

    1. GET /hotel/_search
    2. {
    3. "size": 0,
    4. "aggs": {
    5. "score_stats": { #聚合名称
    6. "stats": { #聚合类型,这里stats可以计算minmaxavg
    7. "field": "score" #聚合字段,这里是score
    8. }
    9. }
    10. }
    11. }

    image.png

    pipeline聚合

    获取每个品牌的用户评分的min、max、avg等值,就要用到Bucket和Metric联合聚合了

    1. GET /hotel/_search
    2. {
    3. "size": 0,
    4. "aggs": {
    5. "brandAgg": {
    6. "terms": {
    7. "field": "brand",
    8. "size": 20
    9. },
    10. "aggs": { #是brands聚合的子聚合,也就是分组后对每组分别计算
    11. "score_stats": {
    12. "stats": {
    13. "field": "score"
    14. }
    15. }
    16. }
    17. }
    18. }
    19. }

    image.png

    RestClient实现聚合

    聚合条件与query条件同级别,因此需要使用request.source()来指定聚合条件。
    聚合条件的语法:
    image-20210723173057733.png
    聚合的结果也与查询结果不同,API也比较特殊。不过同样是JSON逐层解析:
    image-20210723173215728.png

    1. @Test
    2. void testBucket() throws IOException {
    3. // 1.准备Request
    4. SearchRequest request = new SearchRequest("hotel");
    5. //准备DSL
    6. request.source().size(0);
    7. request.source().aggregation(
    8. AggregationBuilders.terms("brands").field("brand").size(20)
    9. );
    10. // 3.发送请求
    11. SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    12. // 4.解析响应
    13. //4.1解析聚合结果
    14. Aggregations aggregations = response.getAggregations();
    15. //4.2根据名字获取聚合结果
    16. Terms brands = aggregations.get("brands");
    17. //4.3获取桶
    18. List<? extends Terms.Bucket> buckets = brands.getBuckets();
    19. //4.4遍历
    20. for(Terms.Bucket bucket:buckets){
    21. //4.5获取品牌信息和文档数量信息
    22. String brandName = bucket.getKeyAsString();
    23. long docCount = bucket.getDocCount();
    24. System.out.println(brandName+docCount);
    25. }
    26. }