### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 本篇概覽
- 聚合是我們在使用elasticsearch服務時常用的功能，從本篇起，一起透過實戰來學習和掌握聚合的有關知識；

### 系列文章列表
1. [《Elasticsearch聚合學習之一：基本操作》](https://blog.csdn.net/boling_cavalry/article/details/89735952)；
2. [《Elasticsearch聚合學習之二：區間聚合》](https://xinchen.blog.csdn.net/article/details/89763684)；
3. [《Elasticsearch聚合學習之三：範圍限定》](https://xinchen.blog.csdn.net/article/details/89785223);
4. [《Elasticsearch聚合學習之四：結果排序》](https://xinchen.blog.csdn.net/article/details/89812169)；

### 關於聚合
- 透過搜尋，我們可找到匹配查詢條件的文件集；
- 透過聚合，我們會得到一個資料的概念，以汽車銷售資訊為例，以下都是聚合資料：
1. 有多少中顏色；
2. 每輛車的平均價格是多少；
3. 按照汽車的顏色來劃分，每個顏色的銷售量是多少；

- 學習Elasticsearch聚合的第一步就是理解兩個概念：桶(Buckets)和指標(Metrics)

### 桶(Buckets)
- 桶是指滿足特定條件的文件的集合，例如按照汽車顏色分類，如下圖，每個顏色都有一個桶，裡面放的是所有這個顏色的文件：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190501150053991.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW5jaGVuLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70)

### 指標(Metrics)
- 指標是對桶內的文件進行統計計算，如統計紅色汽車的數量、最低價、最高價、平均售價、總銷售額等，這些都是根據桶中的文件的值來計算的；

- 基本概念有所瞭解後一起透過實戰來學習和掌握聚合的知識；

### 環境資訊
- 以下是本次實戰的環境資訊，請確保您的Elasticsearch可以正常執行：
1. 作業系統：Ubuntu 18.04.2 LTS
2. JDK：1.8.0_191
3. Elasticsearch：6.7.1
4. Kibana：6.7.1

### 匯入實戰資料
- **本次實戰用到的資料來自《Elasticsearch權威指南》的示例；**
- 實戰會用到名為cars的索引，裡面的每個文件是一條汽車銷售記錄，具體欄位定義如下：

- 透過靜態對映的方式來建立索引，在Kibana的Dev Tools頁面執行以下命令，就會建立cars索引和transactions型別，並且指定了每個欄位的定義：

```shell
PUT /cars

{
  "mappings" : {
      "transactions" : {
        "properties" : {
          "color" : {
            "type" : "keyword"
          },
          "make" : {
            "type" : "keyword"
          },
          "price" : {
            "type" : "long"
          },
          "sold" : {
            "type" : "date"
          }
        }
      }
    }
}
```

- 匯入資料：

```shell
POST /cars/transactions/_bulk
{ "index": {}}
{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" }
{ "index": {}}
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 30000, "color" : "green", "make" : "ford", "sold" : "2014-05-18" }
{ "index": {}}
{ "price" : 15000, "color" : "blue", "make" : "toyota", "sold" : "2014-07-02" }
{ "index": {}}
{ "price" : 12000, "color" : "green", "make" : "toyota", "sold" : "2014-08-19" }
{ "index": {}}
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 80000, "color" : "red", "make" : "bmw", "sold" : "2014-01-01" }
{ "index": {}}
{ "price" : 25000, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }
```

- 透過head外掛看到新建的索引cars的所有資料如下圖，例如第一條記錄，表示售價30000，汽車顏色是綠色，品牌是ford，銷售時間是2014年5月8日：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190501174429748.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW5jaGVuLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70)

### 最簡單的聚合：terms桶
- 第一個聚合命令是terms桶，相當於SQL中的group by，將所有記錄按照顏色聚合，執行以下查詢命令：

```shell
GET /cars/transactions/_search
{
  "size":0,
  "aggs":{
   "popular_colors":{
     "terms": {
       "field": "color"
     }
   } 
  }
}
```

- 收到響應如下：

```shell
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 8,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "popular_colors" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "red",
          "doc_count" : 4
        },
        {
          "key" : "blue",
          "doc_count" : 2
        },
        {
          "key" : "green",
          "doc_count" : 2
        }
      ]
    }
  }
}
```

- 現在對查詢命令中的引數做出解釋：
- **size**設定為0，這樣返回的hits欄位為空（hits不是我們本次查詢關心的內容），這樣可以提高查詢速度；
- **aggs**：聚合操作都被至於aggs之下，注意aggs是頂層引數，另外使用aggregations替代aggs也可以；
- **popular_colors**：為聚合的型別指定名稱，本次是按照顏色來聚合的，所以起名為popular_colors，響應內容中可以看到該欄位的聚合結果如下：

```shell
aggregations" : {
    "popular_colors" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "red",
          "doc_count" : 4
        },
        {
          "key" : "blue",
          "doc_count" : 2
        },
        ...
```

- **terms**：在聚合的時候，桶的型別有很多種，terms是常用的一種，作用是按照指定欄位來聚合，例如本例指定了color欄位，所以所有color為red的文件聚合到一個桶，green的文件聚合到另一個桶，實際上桶型別是有很多種的，常見的型別在後面的實戰中會用到，更多詳細內容請參考官方文件：https://www.elastic.co/guide/en/elasticsearch/reference/7.0/search-aggregations-bucket.html

- **field**的值就是terms桶指定的聚合欄位，這裡是color欄位；
- 接下來看看返回的資訊，aggregations就是聚合結果，popular_colors是我們指定的別名，buckets是個json陣列，裡面的每個json物件都是一個桶，裡面的doc_count就是記錄數；例如結果中的第一條記錄就是紅色汽車的銷售記錄；

### 新增度量指標
- 上面的示例返回的是每個桶中的文件數量，接下es支援豐富的指標，例如平均值(Avg)、最大值(Max)、最小值(Min)、累加和(Sum)等，接下來試試累加和的用法；
- 下面請求的作用是統計每種顏色汽車的銷售總額：

```shell
GET /cars/transactions/_search
{
  "size":0,
  "aggs":{
   "colors":{
     "terms": {
       "field": "color"
     },
     "aggs":{
       "sales":{
         "sum":{
           "field":"price"
         }
       }
     }
   } 
  }
}
```

- 收到響應如下：

```shell
{
  "took" : 17,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 8,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "colors" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "red",
          "doc_count" : 4,
          "sales" : {
            "value" : 130000.0
          }
        },
        {
          "key" : "blue",
          "doc_count" : 2,
          "sales" : {
            "value" : 40000.0
          }
        },
        {
          "key" : "green",
          "doc_count" : 2,
          "sales" : {
            "value" : 42000.0
          }
        }
      ]
    }
  }
}
```

- 請求引數和第一次的請求相比，按顏色聚合的引數不變，但是內部多了個aggs物件，詳細的說明如下：

```shell
GET /cars/transactions/_search
{
  "size":0,
  "aggs":{         ------和前面一樣，指定聚合操作
   "colors":{      ------別名
     "terms": {    ------桶型別是按指定欄位聚合
       "field": "color" ------按照color欄位聚合
     },
     "aggs":{      ------新增的aggs物件，用於處理聚合在每個桶內的文件
       "sales":{   ------別名
         "sum":{   ------度量指標是指定欄位求和
           "field":"price" ---求和的欄位是price
         }
       }
     }
   } 
  }
}
```

- 對響應的資料說明如下：

```shell
 "aggregations" : {               ------聚合結果
    "colors" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [               ------這個json陣列的每個物件代表一個桶
        {
          "key" : "red",        ------該桶將所有color等於red的文件聚合進來
          "doc_count" : 4,      ------有4個color等於red的文件
          "sales" : {           ------這裡面是sum計算後的結果  
            "value" : 130000.0  ------所有color等於red的汽車銷售總額
          }
        },
        {
          "key" : "blue",
          "doc_count" : 2,
          "sales" : {
            "value" : 40000.0  ------所有color等於blue的汽車銷售總額
          }
        },
```

- 對於其他度量型別和sum也是相似的，您可以參考官方文件瞭解更多資訊：https://www.elastic.co/guide/en/elasticsearch/reference/7.0/search-aggregations.html

- 至此，Elasticsearch6的基本聚合操作就完成了，接下來的文章我們會接觸到更復雜的聚合操作；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

Elasticsearch聚合學習之一：基本操作

相關文章