es 叢集配置推薦

Hello_worlds發表於2024-11-18
  • es叢集配置
1、叢集配置
es三個節點，每個節點的配置都是 8核cpu 64G記憶體 8T硬碟
每天的日誌量100G，三個分片。
這樣的配置可以保留90天的日誌
叢集有 3 個節點，每個節點 8TB 硬碟，整個叢集的儲存總容量為：8TB × 3 = 24TB 總儲存空間

2、日誌資料量
每天的日誌量：100GB
每個索引的分片數：3 個主分片，每個分片處理的資料量大約是 33.33GB。
副本數：假設副本數為 1，即每個主分片有一個副本，因此需要將儲存需求翻倍。

3、計算資料保留時間
總儲存需求（副本含資料）：每天 100GB 的日誌資料，每天儲存的資料量是：100GB × 2 = 200GB（包含副本）
叢集可以儲存的天數：
  叢集總儲存容量是 24TB（24,000GB）。
  每天需要 200GB 儲存，因此可以儲存的天數是：24,000GB ÷ 200GB = 120 天

4、總結
在 3 個節點，每個節點 8TB 硬碟 的情況下，如果每天的日誌量為 100GB，且設定了 3 個主分片 和 副本數為 1，Elasticsearch 叢集能夠儲存約 120 天 的日誌資料。
實際只保留90天的資料，100(日誌大小) * 2(主分片+副本分片) * 90(保留天數) / 240000(磁碟總大小) = 75%(磁碟利用率)

相關文章