Netflix 如何預熱快取？利用EBS移動PB級資料
EVCache是一種基於 memcached 的分散式記憶體快取解決方案。它是 Netflix 的一個 Tier-0 系統，其足跡遍佈約 18,000 臺伺服器，擁有約 14 PB 的資料，並且仍在快速增長。
我們之前已經概述了我們如何在 EVCache 叢集上執行快取 預熱以及為什麼需要它。最初的快取預熱文章中提到的架構對於我們的絕大多數用例都非常有效。然而，隨著 Netflix 使用者群多年來的增長，儲存在 EVCache 中的資料佔用量增加了數倍，並將繼續增加以滿足新的和額外的需求。隨著叢集規模和敏感性的增加，架構需要不斷髮展以跟上。
在這篇文章中，我們將討論遇到的各種瓶頸，並透過解決我們面臨的瓶頸，提出一種具有更高吞吐量的改進架構，適用於 PB 級資料集。我們將分享我們生產環境的結果，這些結果表明，與我們之前的架構相比，我們的總預熱時間減少了約 90%。
我們很高興將這個專案的 memcached dumper 部分開源，以供更廣泛的社群使用，稱為Cachemover，它允許人們儘快將 memcached 資料轉儲到磁碟。
原文點選標題
相關文章
- PB級資料持久化快取系統——lest持久化快取
- 快取穿透、快取擊穿、快取雪崩、快取預熱快取穿透
- 聊聊如何利用redis實現多級快取同步Redis快取
- JuiceFS 快取預熱詳解UI快取
- GBASE助力山東移動大資料平臺PB級資料主倉業務跨機房無感知遷移大資料
- PB 級資料處理挑戰，Kubernetes如何助力基因分析？
- MyBatis快取機制（一級快取，二級快取）MyBatis快取
- 如何利用 Selenium 爬取評論資料？
- 如何做PB級大資料線上分析？看阿里實踐大資料阿里
- mybatis快取-二級快取MyBatis快取
- Python 如何連線並操作 AWS 上 PB 級雲資料倉儲 RedshiftPython
- 杉巖資料：如何在7天內跨資料中心遷移1 PB檔案?
- 【轉】一個小工具類，利用shareObject把資料快取Object快取
- 阿里一面：關於【快取穿透、快取擊穿、快取雪崩、熱點資料失效】問題的解決方案阿里快取穿透
- 聊聊如何利用apollo與druid整合實現資料來源動態熱切UI
- 利用反射讀取資料庫資料反射資料庫
- 巧妙設計多級快取，為資料庫減負快取資料庫
- 如何利用showdoc自動生成資料字典
- Mybatis的二級快取、使用Redis做二級快取MyBatis快取Redis
- SpringBoot快取管理（一） 預設快取管理Spring Boot快取
- 快取淘汰、快取穿透、快取擊穿、快取雪崩、資料庫快取雙寫一致性快取穿透資料庫
- 如何利用電商API介面來獲取商品資料API
- 如何利用API介面獲取電商平臺資料？API
- 大資料實戰：電商該如何利用大資料獲取流量？大資料
- PbootCMS後臺自動清理快取runtime資料夾boot快取
- MybatisPlus二級快取MyBatis快取
- Uber基於Apache Hudi構建PB級資料湖實踐Apache
- 使Instagram.com更快的三個步驟：預取資料、推送資料和使用快取 -Instagram Engineering快取
- 電腦CPU二級快取的開啟方法和如何檢視二級快取的引數快取
- mybatis原始碼學習：一級快取和二級快取分析MyBatis原始碼快取
- 清除 Nuxt 資料快取：clearNuxtDataUX快取
- vue移動端專案快取問題實踐Vue快取
- 如何高效地利用淘寶API介面獲取商品資料API
- 給資料庫減負刻不容緩：多級快取設計資料庫快取
- Web快取知多少(快取機制和資料儲存)Web快取
- 億級系統的Redis快取如何設計？？？Redis快取
- SAP系統升級，如何做資料遷移？
- 預載入與快取快取