### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 本篇概覽
- 本文是《Elasticsearch聚合學習》系列的第二篇，上一篇是我們熟悉了聚合的基本操作，本篇的內容是按照區間聚合的實戰操作；

### 系列文章列表
1. [《Elasticsearch聚合學習之一：基本操作》](https://blog.csdn.net/boling_cavalry/article/details/89735952)；
2. [《Elasticsearch聚合學習之二：區間聚合》](https://xinchen.blog.csdn.net/article/details/89763684)；
3. [《Elasticsearch聚合學習之三：範圍限定》](https://xinchen.blog.csdn.net/article/details/89785223);
4. [《Elasticsearch聚合學習之四：結果排序》](https://xinchen.blog.csdn.net/article/details/89812169)；

### 環境資訊
- 以下是本次實戰的環境資訊，請確保您的Elasticsearch可以正常執行：

1. 作業系統：Ubuntu 18.04.2 LTS
2. JDK：1.8.0_191
3. Elasticsearch：6.7.1
4. Kibana：6.7.1

- 實戰用的資料依然是一些汽車銷售的記錄，在[第一章](https://blog.csdn.net/boling_cavalry/article/details/89735952)有詳細的匯入步驟，請參考操作，匯入後您的es中的資料如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190501174429748.jpg)

### 本章概要
- 本篇實戰的聚合操作有以下內容：
1. 指定欄位的區間聚合；
2. 時間欄位的區間聚合；
3. 擴充套件實戰；

- 接下來開始實戰吧。

### 條形圖(histogram桶)
- 還記得terms桶麼，用來將指定欄位值相同的文件聚合在一個桶中，而histogram桶是將指定欄位值在某個範圍內的文件聚合在一個桶中，如下圖所示，0-19999是一個桶，11000和15000在一個桶內，23000和31000在一個桶內，這就是histogram桶：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190502201815917.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW5jaGVuLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70)

- 以汽車銷售記錄為例做一次聚合查詢，為售價建立histogram桶，以20000作為間隔，每個桶負責的區間如上圖所示，相關的銷售記錄就會被放入對應的桶中，請求引數和說明如下：

```shell
GET /cars/transactions/_search
{
  "size":0,                  ---令返回值的hits物件為空
  "aggs":{                   ---聚合命令
   "price":{                 ---聚合欄位名稱
     "histogram": {          ---桶型別
       "field": "price",     ---指定price欄位的值作為判斷條件
       "interval": 20000     ---每個桶負責的區間大小為20000
     }
   } 
  }
}
```

- es返回的資料和說明如下：

```shell
{
  "took" : 57,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 8,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {             ---聚合結果
    "price" : {                  ---請求引數中指定的名稱
      "buckets" : [              ---price桶的資料在此陣列中
        {
          "key" : 0.0,           ---第一個桶，區間[0-19999]，0.0是起始值
          "doc_count" : 3        ---這個區間有三個文件（price值分別是10000、12000、15000）
        },
        {
          "key" : 20000.0,       ---第二個桶，區間[20000-39999]，20000.0是起始值
          "doc_count" : 4        ---這個區間有四個文件
        },
        {
          "key" : 40000.0,       ---第三個桶，區間[40000-59999]，40000.0是起始值
          "doc_count" : 0        ---這個區間沒有文件
        },
       ......
```

### 控制空桶是否返回
- 在上面的返回值中，第三個桶中沒有文件，在有的業務場景中，我們不需要沒有資料的桶，此時可以用**min_doc_count**引數來控制，如果min_doc_count等於2，表示桶中最少有兩條記錄才會出現在返回內容中，如下所示，min_doc_count如果等於1，那麼空桶就不會被es返回了：

```shell
GET /cars/transactions/_search
{
  "size":0,
  "aggs":{
   "price":{
     "histogram": {
       "field": "price",
       "interval": 20000,
       "min_doc_count": 1
     }
   } 
  }
}
```

- 返回值如下所示，沒有文件的桶不再出現：

```shell
{
  "took" : 16,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 8,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "price" : {
      "buckets" : [
        {
          "key" : 0.0,
          "doc_count" : 3
        },
        {
          "key" : 20000.0,
          "doc_count" : 4
        },
        {
          "key" : 80000.0,
          "doc_count" : 1
        }
      ]
    }
  }
}

```

### histogram桶加metrics
- 上面的例子返回結果只有每個桶內的文件數，也可以加入metrics對桶中的資料進行處理，例如計算每個區間內的最高價、最低價、平均售價，可以加入max、min、avg引數，如下：

```shell
GET /cars/transactions/_search
{
  "size":0,                  ---令返回值的hits物件為空
  "aggs":{                   ---聚合命令
   "price":{                 ---聚合欄位名稱
     "histogram": {          ---桶型別
       "field": "price",     ---指定price欄位的值作為判斷條件
       "interval": 20000     ---每個桶負責的區間大小為20000
     },
     "aggs": {               ---表示對桶內資料做metrics
        "max_price": {       ---指定metrics處理結果的欄位名
          "max":{            ---metrics型別為max
            "field": "price" ---指定取price欄位的值做最大值比較
          }
        },
        "min_price": {       ---指定metrics處理結果的欄位名
          "min":{            ---metrics型別為min
            "field": "price" ---指定取price欄位的值做最小值比較
          }
        },
        "avg_price": {       ---指定metrics處理結果的欄位名
          "avg":{            ---metrics型別為avg
            "field": "price" ---指定取price欄位的值計算平均值
          }
        }
      }
   } 
  }
}
```

- es返回資料和說明如下，可見每個桶中的文件都做了三種metrics處理：

```shell
{
  "took" : 17,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 8,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {             ---聚合結果
    "price" : {                  ---請求引數中指定的名稱
      "buckets" : [              ---price桶的資料在此陣列中
        {
          "key" : 0.0,           ---第一個區間[0-19999]，0.0是起始值
          "doc_count" : 3,       ---這個區間有三條記錄（price值分別是10000、12000、15000）
          "max_price" : {        ---指定的metrics結果名稱
            "value" : 15000.0    ---桶中有三個文件，price欄位的最大值是15000
          },
          "min_price" : {
            "value" : 10000.0    ---桶中有三個文件，price欄位的最小值是10000
          },
          "avg_price" : {
            "value" : 12333.333333333334    ---桶中有三個文件，price欄位的平均值是12333.333333333334
          }
        },
       ......
```

### 時間區間的桶(date_histogram)

- 按照時間區間聚合也是常用的功能，例如在ELK上查詢日誌，通常都是按照時間來分段的，如下圖：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190502214005417.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW5jaGVuLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70)

- histogram桶可以實現按照時間分段麼？如果用毫秒數來處理，似乎是可以的，但是對年月日的處理就力不從心了，常見的時間區間處理，用**date_histogram**桶即可滿足要求；

- 下面就是date_histogram桶的用法：每月銷售多少臺汽車：

```shell
GET /cars/transactions/_search
{
  "size": 0,                    ---令返回值的hits物件為空
  "aggs": {                     ---聚合命令
    "sales": {                  ---聚合欄位名稱
      "date_histogram": {       ---桶型別
        "field": "sold",        ---用sold欄位的值作進行時間區間判斷
        "interval": "month",    ---間隔單位是月
        "format": "yyyy-MM-dd"  ---返回的資料中，時間欄位格式
      },
      "aggs": {                 ---表示對桶內資料做metrics
        "max_price": {          ---指定metrics處理結果的欄位名
          "max":{               ---metrics型別為max
            "field": "price"    ---指定取price欄位的值做最大值比較
          }
        },
        "min_price": {          ---指定metrics處理結果的欄位名
          "min":{               ---metrics型別為min
            "field": "price"    ---指定取price欄位的值做最小值比較
          }
        }
      }
    }
  }
}
```

- es返回資料如下，篇幅所限因此略去了頭部和尾部的一些資訊，只看關鍵的：

```shell
"aggregations" : {                           ---聚合結果
    "sales" : {                              ---請求引數中指定的名稱
      "buckets" : [                          ---sales桶的資料在此陣列中
        {
          "key_as_string" : "2014-01-01",    ---請求的format引數指定了key的格式
          "key" : 1388534400000,             ---真正的時間欄位
          "doc_count" : 1,                   ---2014年1月份的文件數量
          "max_price" : {                    ---2014年1月的文件做了metrics型別為max的處理後，結果在此
            "value" : 80000.0                ---2014年1月的文件中，price欄位的最大值
          },
          "min_price" : {                    ---2014年1月的文件做了metrics型別為min的處理後，結果在此
            "value" : 80000.0                ---2014年1月的文件中，price欄位的最大值
          }
        },
        {
          "key_as_string" : "2014-02-01",
          "key" : 1391212800000,
          "doc_count" : 1,
          "max_price" : {
            "value" : 25000.0
          },
          "min_price" : {
            "value" : 25000.0
          }
        },
        ......
```

- 上面的請求是以一個月作為區間的，如果想以其他時間單位作為區間又該怎麼做呢？例如90天，把interval欄位寫成**90d**即可，其他粒度的時間間隔寫法如下表：

|表示式| 含義 |
|--|--|
| 1y | 一年(數量只能是1，例如2y不合法) |
| 1q | 一個季度(數量只能是1，例如2q不合法) |
| 1M | 一個月(數量只能是1，例如2M不合法，注意區分大寫，M表示月，m表示分鐘) |
| 1w | 一週(數量只能是1，例如2w不合法) |
| 2d | 兩天(數量可以是整數型別) |
| 3h | 三個小時(數量可以是整數型別)  |
| 4m | 四分鐘(數量可以是整數型別，注意區分大寫，M表示月，m表示分鐘)  |
| 5s | 五秒鐘(數量可以是整數型別)  |

- **注意：年、季度、月、周都的數量只能是1，其他粒度的數量可以是整數；**
- 例如以90天作為區間來聚合，請求引數如下：

```shell
GET /cars/transactions/_search
{
  "size": 0,
  "aggs": {
    "sales": {
      "date_histogram": {
        "field": "sold",
        "interval": "90d",     -------表示以90天作為間隔
        "format": "yyyy-MM-dd"
      },
      "aggs": {
        "max_price": {
          "max":{
            "field": "price"
          }
        },
        "min_price": {
          "min":{
            "field": "price"
          }
        }
      }
    }
  }
}
```

### date_histogram的空桶處理
- date_histogram也支援min_doc_count引數，和histogram桶的用法一樣，對於下面的請求，es的響應中不會有空桶：

```shell
GET /cars/transactions/_search
{
  "size": 0,
  "aggs": {
    "sales": {
      "date_histogram": {
        "field": "sold",
        "interval": "1M",
        "format": "yyyy-MM-dd",
        "min_doc_count": 1
      }
    }
  }
}
```

### 擴充套件實戰
- 本篇的最後，來做一個略為複雜的聚合操作：**按季度展示每個汽車品牌的銷售總額**；
- 顯然，操作的第一步是按照時間區間做聚合，然後在每個桶中，將文件按照品牌做第二次聚合，第二次聚合的結果也可以理解為多個桶，每個桶中的文件，是某個平臺在某個季度的銷售總額；
- 請求如下：

```shell
GET /cars/transactions/_search
{
  "size": 0,                      ---令返回值的hits物件為空
  "aggs": {                       ---聚合命令
    "sales": {                    ---聚合欄位名稱
      "date_histogram": {         ---桶型別為時間區間
        "field": "sold",          ---指定sold欄位的值作為判斷條件
        "interval": "1q",         ---區間間隔為1季度
        "format": "yyyy-MM-dd",   ---返回的桶的key，被格式化時的格式
        "min_doc_count": 1        ---空桶不返回
      },
      "aggs": {                   ---第二層桶
        "per_make_sum": {         ---聚合欄位名稱
          "terms": {              ---桶型別為terms
            "field": "make"       ---按照make欄位聚合
          },
          "aggs": {               ---第二層桶的metrics
            "sum_price": {        ---聚合欄位名稱
              "sum": {            ---metrics處理，累加
                "field": "price"  ---取price欄位的值累加
              }
            }
          }
        }
      }
    }
  }
}
```

- 收到響應如下：

```shell
"aggregations" : {
    "sales" : {
      "buckets" : [                             ---聚合結果
        {
          "key_as_string" : "2014-01-01",       ---當前桶的key的格式化後的值
          "key" : 1388534400000,                ---當前桶的key原值
          "doc_count" : 2,                      ---當前桶中文件數
          "per_make_sum" : {                    ---第二層桶的名稱
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [                       ---第二層聚合結果
              {
                "key" : "bmw",                  ---聚合欄位的值，這裡是汽車品牌
                "doc_count" : 1,                ---桶內的文件數量
                "sum_price" : {                 ---metrics處理結果名稱
                  "value" : 80000.0             ---metrics處理結果，這裡是銷售額累加值
                }
              },
              {
                "key" : "ford",                 ---聚合欄位的值，這裡是汽車品牌
                "doc_count" : 1,                ---桶內的文件數量
                "sum_price" : {                 ---metrics處理結果名稱
                  "value" : 25000.0             ---metrics處理結果，這裡是銷售額累加值
                }
              }
            ]
          }
        },
        {
          "key_as_string" : "2014-04-01",
          "key" : 1396310400000,
          "doc_count" : 1,
          "per_make_sum" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "ford",
                "doc_count" : 1,
                "sum_price" : {
                  "value" : 30000.0
                }
              }
            ]
          }
        },
```

- 至此，區間聚合的學習和實戰就完成了，到目前為止，我們的操作用的都是索引中的全部資料，但是真是生產環境中，不會每次都用全部資料來做聚合，因此接下來的章節，會將聚合與查詢、過濾等操作結合在一起實戰；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

Elasticsearch聚合學習之二：區間聚合

相關文章