Netflix 如何預熱快取？利用EBS移動PB級資料

banq發表於2021-12-03
快取

EVCache是一種基於 memcached 的分散式記憶體快取解決方案。它是 Netflix 的一個 Tier-0 系統，其足跡遍佈約 18,000 臺伺服器，擁有約 14 PB 的資料，並且仍在快速增長。
我們之前已經概述了我們如何在 EVCache 叢集上執行快取 預熱以及為什麼需要它。最初的快取預熱文章中提到的架構對於我們的絕大多數用例都非常有效。然而，隨著 Netflix 使用者群多年來的增長，儲存在 EVCache 中的資料佔用量增加了數倍，並將繼續增加以滿足新的和額外的需求。隨著叢集規模和敏感性的增加，架構需要不斷髮展以跟上。
在這篇文章中，我們將討論遇到的各種瓶頸，並透過解決我們面臨的瓶頸，提出一種具有更高吞吐量的改進架構，適用於 PB 級資料集。我們將分享我們生產環境的結果，這些結果表明，與我們之前的架構相比，我們的總預熱時間減少了約 90%。
我們很高興將這個專案的 memcached dumper 部分開源，以供更廣泛的社群使用，稱為Cachemover，它允許人們儘快將 memcached 資料轉儲到磁碟。
原文點選標題

相關文章