es筆記七之聚合操作之桶聚合和矩陣聚合

XHunter發表於2023-11-17

筆記矩陣

本文首發於公眾號：Hunter後端
原文連結：es筆記七之聚合操作之桶聚合和矩陣聚合

桶(bucket)聚合並不像指標(metric)聚合一樣在欄位上計算，而是會建立資料的桶，我們可以理解為分組，根據某個欄位進行分組，將符合條件的資料分到同一個組裡。

桶聚合可以有子聚合，意思就是在分組之後，可以在每個組裡再次進行聚合操作，聚合的資料就是每個組的資料。

以下是本篇筆記目錄：

基本桶聚合操作
過濾聚合
多桶過濾聚合
全域性聚合
直方圖聚合
巢狀聚合
範圍聚合
稀有詞聚合
矩陣聚合

1、基本桶聚合操作

我們可以簡單的先來進行一下桶聚合的操作，比如我們根據 age 欄位對資料進行分組操作：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "bucket_age": {
      "terms": {
        "field": "age",
        "size": 20
      }
    }
  }
}

返回的資料如下：

{
  ...
  "aggregations" : {
    "bucket_age" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 35,
      "buckets" : [
        {
          "key" : 31,
          "doc_count" : 61
        },
        {
          "key" : 39,
          "doc_count" : 60
        },
        {
          "key" : 26,
          "doc_count" : 59
        },
        ...
      ]
    }
  }
}

所有的資料在 aggregations.bucket_age.buckets 下，這是一個陣列，key 的內容為 age 的值，doc_count 為該 age 值的資料條數。

其中，bucket_age 為我們定義的桶聚合的名稱。

接下來我們介紹桶聚合和指標聚合的其他操作。

2、過濾聚合

如果我們想針對某特定的資料進行聚合，那麼就涉及資料的過濾，篩選出特定的資料進行聚合。

比如我們想篩選出 gender 的值為 "F" 的資料，然後對其進行取平均數的操作，我們可以使用 filter 來如下操作：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "bucket_gender": {
      "filter": {"term": {"gender.keyword": "F"}},
      "aggs": {
        "avg_balance": {"avg": {"field": "balance"}}
      }
    }
  }
}

aggs.bucket_gender 我們使用 filter 對資料進行了一個過濾，篩選出 gender 的值為 "F" 的資料。

注意，在這裡，因為我們寫入資料前，沒有預先定義欄位的型別，所以 es 中將其自動轉化成 text 屬性的欄位，所以在查詢的時候用到的是 gender.keyword，意思是對 gender 欄位的內容作為整體進行篩選。

如果本身是 keyword 屬性，就不用加 .keyword 來操作。

與 filter 同級的 aggs，進行針對篩選出的資料進行聚合的操作，這裡我們用到的是平均值。

返回的資料如下：

  ...
  "aggregations" : {
    "bucket_gender" : {
      "doc_count" : 493,
      "avg_balance" : {
        "value" : 25623.34685598377
      }
    }
  }
}

3、多桶過濾聚合

在上一點我們過濾的是單個條件，gender='F' 的情況，如果我們想要實現多個過濾來操作，可以使用 filters，使用方法也不一樣。

比如我們想分別對 gender 的值為 F 和 M 的資料進行均值操作，我們可以一步步來操作，我們先來透過 filters 實現兩個桶的聚合：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "bucket_gender": {
      "filters": {
        "filters": {
          "female": {"term": {"gender.keyword": "F"}},
          "male": {"term": {"gender.keyword": "M"}}
        }
      }
    }
  }
}

返回的資料就是兩個桶，包含了兩類資料的總數：

  ...
  "aggregations" : {
    "bucket_gender" : {
      "buckets" : {
        "female" : {
          "doc_count" : 493
        },
        "male" : {
          "doc_count" : 507
        }
      }
    }
  }
}

如果想在此基礎上接著對其進行均值計算，和前面的 filter 操作一樣，在第一個 filters 同級的地方，加上我們的指標聚合操作：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "bucket_gender": {
      "filters": {
        "filters": {
          "female": {"term": {"gender.keyword": "F"}},
          "male": {"term": {"gender.keyword": "M"}}
        }
      },
      "aggs": {
        "avg_balance": {"avg": {"field": "balance"}}
      }
    }
  }
}

這樣，在返回的桶的資料之內，還包含了一個均值的結果：

  ...
  "aggregations" : {
    "bucket_gender" : {
      "buckets" : {
        "female" : {
          "doc_count" : 493,
          "avg_balance" : {
            "value" : 25623.34685598377
          }
        },
        "male" : {
          "doc_count" : 507,
          "avg_balance" : {
            "value" : 25803.800788954635
          }
        }
      }
    }
  }
}

這裡我們因為 gender 只有 F 和 M 兩個值，所以沒有第三類資料，對於其他資料，比如 age，有很多值，除了某幾種特定的值外，我們還想獲取剩下的值的資訊，如何操作呢？

這裡使用到 other_bucket_key 這個引數，比如我們除了定義的 female 和 male，我們還定義一個 non_gender 欄位來統計非 M 和 F 的值，我們可以這樣操作：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "bucket_gender": {
      "filters": {
        "other_bucket_key": "non_gender", 
        "filters": {
          "female": {"term": {"gender.keyword": "F"}},
          "male": {"term": {"gender.keyword": "M"}}
        }
      }
    }
  }
}

返回的值如下：

  ...
  "aggregations" : {
    "bucket_gender" : {
      "buckets" : {
        "female" : {
          "doc_count" : 493,
          "avg_balance" : {
            "value" : 25623.34685598377
          }
        },
        "male" : {
          "doc_count" : 507,
          "avg_balance" : {
            "value" : 25803.800788954635
          }
        },
        "non_gender" : {
          "doc_count" : 0,
          "avg_balance" : {
            "value" : null
          }
        }
      }
    }
  }
}

4、全域性聚合

如果我們要在限定的範圍內進行聚合，但是又想在全域性範圍內獲取聚合資料進行比對。

比如說，我們在 gender='F' 的範圍進行聚合操作：

GET /bank/_search
{
  "size": 0, 
  "query": {"match": {"gender.keyword": "F"}},
  "aggs": {
    "female_balance_avg": {
      "avg": {
        "field": "balance"
      }
    }
  }
}

這裡透過 query 操作篩選 gender='F' 的資料，然後對 balance 欄位進行聚合，如果同時我們想要獲取所有資料的 balance 的平均值，我們可以使用 global 來操作，如下：

GET /bank/_search
{
  "size": 0, 
  "query": {"match": {"gender.keyword": "F"}},
  "aggs": {
    "total_balance_avg": {
      "global": {},
      "aggs": {
        "avg_balance": {
          "avg": {"field": "balance"}
        }
      }
    },
    "female_balance_avg": {
      "avg": {
        "field": "balance"
      }
    }
  }
}

這樣就有兩個資料來比對，結果如下：

  ...
  "aggregations" : {
    "female_balance_avg" : {
      "value" : 25623.34685598377
    },
    "total_balance_avg" : {
      "doc_count" : 1000,
      "avg_balance" : {
        "value" : 25714.837
      }
    }
  }
}

5、直方圖聚合

這是個類似於直方圖的區間桶的聚合操作。

比如對於 age 欄位，我們想以 5 為步長進行聚合，如果 age 欄位在 20-50 之間，那麼返回的資料就會類似於 20-24，25-29，30-34... 以及落在這些區間的資料的數量。

而返回的每條資料並不會是一個區間，而是一個開始的資料，也就是說上面的例子會返回的 key 是 20，25，30 等。

比如我們想對 age 欄位進行直方圖聚合，步長為 5，用到的聚合的欄位為 histogram，示例如下：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "age_histogram": {
      "histogram": {
        "field": "age",
        "interval": 5
      }
    }
  }
}

在 histogram 聚合欄位下，field 欄位為我們要進行直方圖聚合的欄位，這裡是 age 欄位，interval 欄位為進行劃分的區間，我們定義為 5。

返回的資料如下：

  ...
  "aggregations" : {
    "age_histogram" : {
      "buckets" : [
        {
          "key" : 20.0,
          "doc_count" : 225
        },
        {
          "key" : 25.0,
          "doc_count" : 226
        }
        ...
    ]
  }
}

注意： 如果我們進行聚合的區間，比如說 25-29 之間聚合的資料是 0，那麼 es 還是會返回這個區間，不過 doc_count 是 0，不會存在不返回這個區間 key 的情況。

最小 count 返回資料

前面我們說了就算區間 count 數是0，這個區間也會返回，但同時我們也可以規定 min_doc_count 這個引數來返回只有當區間 count 數大於等於這個值的時候才返回資料。

假設 age 的區間資料如下：

20-24：5

25-29：0

30-34：2
...

如果我們設定 min_doc_count=2，那麼返回的區間 25-29則不會被返回，使用示例如下：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "age_histogram": {
      "histogram": {
        "field": "age",
        "interval": 5,
        "min_doc_count": 2
      }
    }
  }
}

返回資料：

  ...
  "aggregations" : {
    "age_histogram" : {
      "buckets" : [
        {
          "key" : 20.0,
          "doc_count" : 5
        },
        {
          "key" : 30.0,
          "doc_count" : 2
        },
        ...
     ]
   }
 }

指定返回區間

前面介紹的示例中，如果資料在 20-50 之間，那麼返回的區間資料就從 20 開始計數（具體的 key 會根據 interval 的設定不一樣，比如設定 Interval=5，key 就會是 20, 25, 30...，如果是設定 Interval=3，那麼 key 就會是 18, 21, 24...）。

如果我們想從 0 開始計數，即便是 0-20 之間的計數為 0，也想要返回20之前 0-4，5-9 的數，或者想要返回 50 之後的資料，包括 50-54，55-59 這種，我們可以使用extended_bounds.min 和 extended_bounds.max 來限定返回資料的最大最小值，示例如下：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "age_histogram": {
      "histogram": {
        "field": "age",
        "interval": 5,
        "extended_bounds": {
          "min": 0,
          "max": 90
        }
      }
    }
  }
}

這樣返回的資料的區間就會在 0-90 之間，即便在全量資料的範圍之外。

注意： 因為在資料區間之外的資料為 0，想要擴充套件的區間返回顯示，記得要將最小返回計數值 min_doc_count 置為 0。

6、巢狀聚合

巢狀聚合，這裡針對的是 es 中資料欄位為陣列，陣列元素裡又巢狀為物件的情況，官方文件舉了個例子，新建一個 products 的 index，資料結構如下：

PUT /products
{
    "mappings": {
        "properties" : {
            "resellers" : { 
                "type" : "nested",
                "properties" : {
                    "reseller" : { "type" : "text" },
                    "price" : { "type" : "double" }
                }
            }
        }
    }
}

接下來我們往裡新增兩條條資料：

PUT /products/_doc/0
{
  "name": "LED TV", 
  "resellers": [
    {
      "reseller": "companyA",
      "price": 350
    },
    {
      "reseller": "companyB",
      "price": 500
    }
  ]
}

PUT /products/_doc/1
{
  "name": "LED TV", 
  "resellers": [
    {
      "reseller": "companyA",
      "price": 400
    },
    {
      "reseller": "companyB",
      "price": 250
    }
  ]
}

然後我們想要在這兩條資料裡的 resellers 陣列欄位裡的四個元素裡獲取 price 欄位最小值，可以透過 nested.path 來指定 resellers 欄位，然後進行聚合，使用示例如下：

GET /products/_search
{
    "size": 0, 
    "query" : {
        "match" : { "name" : "led tv" }
    },
    "aggs" : {
        "resellers" : {
            "nested" : {
                "path" : "resellers"
            },
            "aggs" : {
                "min_price" : { "min" : { "field" : "resellers.price" } }
            }
        }
    }
}

7、範圍聚合

範圍聚合，即 range 聚合。我們可以透過指定範圍來返回各個桶的資料，這個操作和直方圖聚合是類似的，不過這個操作更靈活，聚合的範圍不會寫死。

如果是希望步長固定，我們可以使用直方圖聚合，比如0-4，5-9 這種，如果我們直接想要自定義的 0-7，8-19 這種我們想要定義的可以使用範圍聚合。

還是使用 age 欄位來操作，比如我們想要獲取小於27，28-35，大於36 這個範圍，我們可以如下操作：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "age_range": {
      "range": {
        "field": "age",
        "ranges": [
          {"to": 27},
          {"from": 27, "to": 35},
          {"from": 35}
        ]
      }
    }
  }
}

需要注意的是，from 的引數是開區間的，比如我們這裡 from=27，那麼邏輯就是 >27，如果區間兩邊沒有限制，不填寫相應的 from 和 to 引數即可，返回的 key 也會是 *-27 這種形式。

上面的命令返回的資料如下：r

  ...
  "aggregations" : {
    "age_range" : {
      "buckets" : [
        {
          "key" : "*-27.0",
          "to" : 27.0,
          "doc_count" : 326
        },
        {
          "key" : "27.0-35.0",
          "from" : 27.0,
          "to" : 35.0,
          "doc_count" : 384
        },
        {
          "key" : "35.0-*",
          "from" : 35.0,
          "doc_count" : 290
        }
      ]
    }
  }
}

如果想要返回的資料以 key:{} 的形式返回，可以加上 keyed=true 引數：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "age_range": {
      "range": {
        "field": "age",
        "keyed": true,
        "ranges": [
          {"to": 27},
          {"from": 27, "to": 35},
          {"from": 35}
        ]
      }
    }
  }
}

桶的子指標聚合

在上面的桶聚合操作之後，我們還可以對每個桶進行子指標聚合，比如說最大最小值，平均值，或者統計值等，以下是個操作示例：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "age_range": {
      "range": {
        "field": "age",
        "ranges": [
          {"to": 27},
          {"from": 27, "to": 35},
          {"from": 35}
        ]
      },
      "aggs": {
        "age_stats": {
          "stats": {
            "field": "age"
          }
        }
      }
    }
  }
}

進行指標聚合的範圍是分到每個桶的資料。

8、稀有詞聚合

rare terms aggregation，這個的概念大概是這樣的，比如我們根據 age 欄位進行聚合，統計他們在文件中出現的次數，我們想要獲取出現次數最少的幾個，或者指定出現次數少於 50 的 age 值，就可以用到這個操作。

接下來我們對 age 欄位進行這樣的操作，只獲取出現次數少於 50 的資料，示例如下：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "rare_age": {
      "rare_terms": {
        "field": "age",
        "max_doc_count": 50
      }
    }
  }
}

這個的關鍵字是 rare_terms，rare_age 是我們指定的聚合名稱，其下 field 是我們進行聚合欄位，在這裡是 age 欄位，max_doc_count 則是我們指定的出現次數最大的值。

返回的資料會按照 doc_count 正序排列返回，大致如下：

  ...
  "aggregations" : {
    "rare_age" : {
      "buckets" : [
        {
          "key" : 29,
          "doc_count" : 35
        },
        {
          "key" : 27,
          "doc_count" : 39
        },
        {
          "key" : 38,
          "doc_count" : 39
        },
        ...

範圍過濾

我們還可以使用過濾的方式來指定或者排除某些值，這個操作是支援正則的，但經過測試，發現按照官方文件使用正則的 * 來篩選資料並不能真正起作用，所以這裡我們介紹使用列表來實現過濾。

比如我們指定的 age 範圍是 [29, 27, 24]，使用 include：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "rare_age": {
      "rare_terms": {
        "field": "age",
        "max_doc_count": 51,
        "include": [29, 27, 24]
      }
    }
  }
}

如果我們要排除的 age 範圍是 [29, 27, 24]，使用 exclude：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "rare_age": {
      "rare_terms": {
        "field": "age",
        "max_doc_count": 51,
        "exclude": [29, 27, 24]
      }
    }
  }
}

9、矩陣聚合

矩陣聚合是很小的一部分，這裡直接介紹一下。

前面在指標聚合的介紹中，有一個聚合統計彙總，其中介紹了一個引數是 stats，會返回對應欄位的最大值、最小值、總數等資料，矩陣聚合 matrix 可以理解成是多個欄位的 stats 的集合，會缺少一些統計值，但是返回的值更偏統計學方面的用途。

使用示例如下：

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "field_statis": {
      "matrix_stats": {
        "fields": ["age", "balance"]
      }
    }
  }
}

返回的資料如下：

  ...
  "aggregations" : {
    "field_statis" : {
      "doc_count" : 1000,
      "fields" : [
        {
          "name" : "balance",
          "count" : 1000,
          "mean" : 25714.837000000014,
          "variance" : 1.9757153733576667E8,
          "skewness" : -0.009992486755643138,
          "kurtosis" : 1.8088323899074914,
          "covariance" : {
            "balance" : 1.9757153733576667E8,
            "age" : -2845.650777777781
          },
          "correlation" : {
            "balance" : 1.0,
            "age" : -0.033676422195874786
          }
        },
        {
          "name" : "age",
          "count" : 1000,
          ...
        }
    ...

其中，各引數的釋義如下：

count: 總數

mean: 平均值

variance: 方差

skewness: 偏度

kurtosis: 峰度

covariance: 協方差

correlation: 與其他欄位的相關性，比如 age 到 age 欄位的相關性就是 1.0

如果想獲取更多相關文章，可掃碼關注閱讀：

es筆記六之聚合操作之指標聚合
2023-11-12
筆記指標
Django筆記十六之aggregate聚合操作
2023-04-05
Django筆記
DDD之4聚合和聚合根
2020-06-07
ES 筆記三十八：Bucket & Metric 聚合分析及巢狀聚合
2019-12-28
筆記巢狀
Flink SQL之Over 聚合操作
2022-06-28
SQL
MongoDB學習之聚合操作
2021-12-02
MongoDB
elasticsearch 聚合之 date_histogram 聚合
2022-11-30
ElasticsearchHistogram
ES 筆記十五：聚合分析簡介
2019-10-30
筆記
ES 筆記三十九：Pipeline 聚合分析
2019-12-30
筆記
mongodb聚合操作記錄
2020-10-09
MongoDB
elasticsearch之metric聚合
2022-12-27
Elasticsearch
MongoDB的聚合筆記
2023-12-10
MongoDB筆記
ES資料聚合
2024-10-18
ES 筆記四十：聚合的作用範圍及排序
2020-01-02
筆記排序
ES[7.6.x]學習筆記（十）聚合查詢
2020-05-26
筆記
【Mongo】mongo聚合操作
2018-05-19
Go
elasticsearch bucket 之rare terms聚合
2022-11-22
Elasticsearch
mongoDB資料庫之聚合
2020-11-28
MongoDB資料庫
ES 筆記四十一：聚合的精準度問題
2020-01-03
筆記
elasticsearch 之 histogram 直方圖聚合
2022-11-25
ElasticsearchHistogram直方圖
Elasticsearch聚合的巢狀桶如何排序
2022-09-18
Elasticsearch巢狀排序
聚合
2024-08-22
HCNP Routing&Switching之鏈路聚合
2022-05-17
jmeter學習指南之聚合報告
2019-08-20
JMeter
HCNP Routing&Switching之IS-IS路由聚合和認證
2021-09-17
路由
spark RDD運算元（五）之鍵值對聚合操作combineByKey
2020-11-11
Spark
MYSQL學習筆記7: 聚合函式
2024-03-08
MySql筆記函式
hive學習筆記之十：使用者自定義聚合函式(UDAF)
2021-07-09
Hive筆記函式
領域設計：聚合與聚合根
2020-12-06
PostgreSQL 對陣列元素聚合（qbit）
2023-05-12
SQL陣列
es java 聚合方法——聚合後根據count排序並取前2條資料
2018-07-13
Java排序
Elasticsearch聚合學習之四：結果排序
2022-09-17
Elasticsearch排序
聚合類
2024-05-24
Elasticsearch 聚合
2021-03-17
Elasticsearch
Pandas 分組聚合操作詳解
2023-11-15
Elasticsearch聚合學習之二：區間聚合
2022-09-14
Elasticsearch
聚合支付代理如何去推廣聚合碼？！
2022-04-19
SpringCloud之斷路器聚合監控(Hystrix Turbine)
2018-09-06
SpringGCCloud