在海量日誌儲存場景中，索引膨脹率是一個關鍵指標，直接影響儲存成本和查詢效能。它表示原始資料與索引資料在磁碟上所佔空間的比率。較高的索引膨脹率不僅增加了儲存成本，而且可能會影響查詢速度，尤其是在 I/O 密集型的查詢中。因此，我們需要密切關注和最佳化索引膨脹率。接下來，我們將比較 Elasticsearch 和 Easysearch 在處理相同資料時的索引膨脹率。

## 測試結果

一圖勝千言，下圖是 Easysearch v1.1 和 Elasticsearch v6.4.3 的索引大小測試對比，Y 軸單位是 MB。

使用 Easysearch v1.1 的壓縮功能，比 Elasticsearch v6.4.3 的索引大小降低了 50%。

![](https://www.infinilabs.com/img/blog/2023/easysearch-storage-compression/p1.png)

## 測試說明

以下是對 Elasticsearch v6.4.3 版本，測試資料 500 萬條大小 1.054G(1080M)的 nginx 日誌，使用 es 預設的 mapping，分別用 best_compression 和 default 的壓縮策略進行寫入。
Elasticsearch v6.4.3

| 索引             | 大小(MB) | 膨脹率 | 條數(萬) |
| ---------------- | -------- | ------ | -------- |
| nginx_default_1g | 1812.61  | 1.61   | 500      |
| nginx_best_1g    | 1551.36  | 1.42   | 500      |

然後我們對比下，使用極限科技的 Easysearch 進行索引膨脹率的壓測.

## Easysearch 是什麼？

INFINI Easysearch 衍生自基於開源協議 Apache 2.0 的 Elasticsearch 7.10 版本。 Easysearch 的目標是提供一個輕量級的 Elasticsearch 可替代版本，並繼續完善和支援更多的企業級功能，與 Elasticsearch 相比，Easysearch 更關注在搜尋業務場景的最佳化和繼續保持其產品的簡潔與易用性。
安裝包大小隻有 54 兆，相比 Elasticsearch 動輒一兩百兆的安裝包更加輕量級。
Easysearch v1.1

| 索引             | 大小(MB) | 膨脹率 | 條數(萬) |
| ---------------- | -------- | ------ | -------- |
| nginx_default_1g | 1514     | 1.33   | 500      |
| nginx_best_1g    | 1286     | 1.138  | 500      |
| nginx_zstd_1g    | 1015.3   | 0.94   | 500      |
| nginx_reuse_1g   | 758.39   | 0.70   | 500      |

注意上面使用到的 Easysearch 的壓縮策略有 4 種:

| **壓縮策略**       | **描述**                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
| ------------------ | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| default            | 和 Elasticsearch 的 default 壓縮策略一致。                                                                                                                                                                                                                                                                                                                                                                                                                                   |
| best_compression   | 和 Elasticsearch 的 best_compression 一致。                                                                                                                                                                                                                                                                                                                                                                                                                                  |
| ZSTD               | ZSTD（Zstandard）是一種開源的壓縮演算法和壓縮庫，旨在提供高效能和高壓縮比的資料壓縮解決方案。由 Facebook 開發並開源的一個壓縮庫，Easysearch 1.1 版引入了這個壓縮演算法作為一個可選的壓縮策略，分別對儲存欄位，doc_values，和詞典檔案進行了壓縮，並且 Easysearch 使用的 zstd 是純 java 版，不依賴底層的作業系統和 cpu 架構，無需單獨編譯可以直接部署在國產的作業系統和晶片上。                                                                                                    |
| index.source_reuse | Easysearch v1.1 新增加的一個索引配置項，表示是否對 source 中的欄位進行復用，熟悉 Elasticsearch 儲存結構的都知道，es 底層依賴 lucene 作為核心的儲存和查詢引擎，預設 mapping 下，在將 es 的欄位解析成 lucene 的對應欄位後，一個 keyword 型別的欄位會分別儲存在 \_source 和 doc_values 欄位裡，Easysearch 將 keyword 欄位在 source 儲存時進行了過濾，然後在查詢階段又利用 doc_values 對 source 裡過濾的 keyword 欄位進行了無縫拼接，使用者層面感知不到對 keyword 欄位的特殊處理。 |

default 和 best_compression 比之前 6.43 版的膨脹率降低是因為得益於 lucene 版本的升級到了 8.11.2，新版的 lucene 的壓縮比之前的版本有了很大提升。
重點是最後利用 ZSTD 加 index.source_reuse，儲存資源的佔用比之前 6.43 版本的 best_compression 的 1.5G 減少了 50%，對比相同 lucene 版本的 best_compression，儲存資源也減少了 40%，帶來以下幾點好處：

- 降低儲存成本：較低的索引膨脹率意味著儲存相同量的資料需要更少的磁碟空間，這將直接減少硬體和維護成本。
- 提高系統擴充套件性：由於索引佔用的儲存空間較小，可以在相同的硬體上處理更多的資料，或者在擴充套件儲存時，需要新增的硬體更少。
- 更高效的資料備份和傳輸：小的索引檔案意味著備份和傳輸資料的時間和頻寬需求都會減少。

## 使用方法

```
##啟用ZSTD
PUT nginx_zstd
{
  "settings": {
    "codec": "ZSTD"
  }
}

##啟用index.source_reuse
PUT nginx_reuse
{
  "settings": {
    "index.source_reuse": true
  }
}

##結合使用
PUT nginx_reuse
{
  "settings": {
    "codec": "ZSTD",
    "index.source_reuse": true
  }
}
```

最後附上 Easysearch 的下載地址，歡迎大家下載試用。
[https://www.infinilabs.com/download/?product=easysearch](https://www.infinilabs.com/download/?product=easysearch)

使用 Easysearch，日誌儲存少一半

相關文章