記憶體不超過5M，datop 在識別冷熱記憶體及跨 numa 訪存有多硬核？| 龍蜥技術

datop 是一款輕量級實時性記憶體冷熱掃描工具，能夠掃描記憶體冷熱以及跨 muma 訪存的情況，其執行時開銷和儲存空間非常小（單 CPU 使用率不到 4% 和 5MB），此外不受硬體平臺的限制，在物理機和虛擬機器上均能支援。 目前已經在龍蜥社群開源了，核心態的部分程式碼是基於 OpenAnolis 5.10。

以下是 Cloud Kernel SIG 核心成員分享《datop 輕量級靶向記憶體熱點掃描工具介紹與入門》部分內容。

DRAM 記憶體低容量對系統造成效能影響日益突出，雲端計算場景中為緩解日益增長的記憶體需求，業界提出異構記憶體的使用，採用兩種或更多型別的記憶體：小型高效能記憶體以及大容量的低效能記憶體。此外，現代高階儲存裝置如固態驅動器和相位改變記憶體，為提高記憶體效能提供了可能， 這些替代方案給人一種錯誤的幻覺，以為輕易能通過篩選資料的熱度來選擇存放的裝置，確實這些資訊在現有的記憶體管理中，可以通過全盤掃描記憶體冷熱的方式得到， 但是長時間掃描過程中很容易產生極大的開銷，造成系統效能損耗。

當前現有記憶體冷熱掃描機制缺陷：

• 熱點跟蹤開銷成比例增長： 監控的記憶體越多，開銷越大
• 跟蹤質量降低： 監控記憶體範圍越大，監控質量下降越明顯
• 缺少 numa 訪存統計： 跨 numa 訪存效能影響不可忽略  

針對上述問題，我們開發了跟蹤實時記憶體熱點資料的工具 datop（Data Access Top）， 採用劃分記憶體區域取樣的方式，並自適應區域構建技術來獲取極低的開銷損耗，在此基礎上，還增加了 numa 模擬功能，用於收集任務跨 numa 訪存情況，為了評估其準確性和低開銷能力，我們選取和測試了多個 benchmark，並與基線進行比較，結果表明：datop 工具在識別冷熱記憶體以及跨 numa 訪存方面具備優秀的表現能力。

具體分享提綱有以下 6 部分：

1、datop 的概述

2、背景：雲端計算大規模複雜場景下記憶體面臨的挑戰

3、datop 開發設計和目標

4、熱點掃描原理及策略

5、datop 工具測試情況說明

6、datop 演示與試用及後續規劃和思考

標準 datop 演示與使用，利用 datop 工具去監控測試用例 numactl -m 0 -C 30 memhog -r1000000000 100m 熱點記憶體分佈以及跨 numa 情況。

最後，介紹 datop 工具的規劃和思考：

1、熱點工具region粒度準確性進一步優化  

2、Tiered Memory (Pro|De)motion優化  

3 、THP Coalesce/Split

4、Proactive-reclaim    

5、Proactive page migration 和 Duplicate backup 

關於相關連結、回放和課件獲取 

【Cloud Kernel SIG及郵件列表連結】：可移步龍蜥公眾號（OpenAnolis龍蜥）2022年4月29日相同推送檢視。
【視訊回放】：視訊回訪已上傳至龍蜥官網 （官網-動態-視訊） 。

【PPT課件獲取】：關注微信公眾號（OpenAnolis），回覆“龍蜥課件” 即可獲取。
有任何疑問請隨時諮詢龍蜥助手—小龍 （微信：openanolis_assis) 。

—— 完 ——