一次徹底掌握資料中心級的JVM調優實戰經驗

lgx211發表於2024-10-18
JVM

出現記憶體溢位的場景通常發生在應用程式中存在記憶體洩漏、物件生命週期過長、物件頻繁建立但未能及時回收等問題。以下是幾個真實的業務場景，結合記憶體溢位問題，並從多個角度提出最佳化方法，來提高記憶體使用效率。

場景 1：大量業務資料快取導致堆記憶體溢位

場景描述：

一個企業級 Web 應用使用了大量記憶體快取來儲存業務資料，比如使用者資訊、訂單資料等。由於快取策略不當，大量無效資料長期儲存在堆記憶體中，導致 OutOfMemoryError（堆記憶體溢位）。

解決思路：

  1. 最佳化快取策略：
    • 使用 LRU（Least Recently Used）演算法 來替換當前快取策略，確保頻繁使用的資料留存，長時間未被訪問的資料及時清理。
    • 使用 SoftReference 來儲存快取物件，系統記憶體不足時可自動回收軟引用物件。
    • 對業務重要性較低或更新頻繁的資料，減少快取時間，或者使用 弱引用（WeakReference），讓垃圾回收器更容易回收快取中的資料。
  2. 分散式快取替代本地快取：
    • 使用分散式快取（如 Redis 或 Memcached）來減少 JVM 記憶體壓力，將快取從堆記憶體中移到外部的快取服務中，提升系統整體記憶體管理效率。
  3. 快取粒度控制：
    • 控制快取物件的粒度，不要快取過於龐大的物件。如果有複雜物件，拆分成多個部分進行快取。
  4. 按需載入：
    • 實現延遲載入（Lazy Loading），只在需要時載入和快取資料，避免預載入不必要的大量資料。

最佳化效果：

透過調整快取策略和引用型別、使用分散式快取、最佳化快取資料的粒度，可以減少 JVM 堆記憶體的壓力，避免記憶體溢位。同時，透過合理的快取策略，可以讓系統在不增加物理資源的情況下，將記憶體使用效率提升 5-10 倍。

場景 2：迴圈生成大批次物件導致堆記憶體溢位

場景描述：

系統定時任務每隔一段時間處理大量訂單資料，每次處理都會迴圈建立大批次物件。由於這些物件建立過於頻繁且沒有及時釋放，堆記憶體逐漸耗盡，導致 OutOfMemoryError。

解決思路：

  1. 物件池化：
    • 引入 物件池（Object Pooling），複用物件，避免每次處理資料時都新建大量物件。物件池可以用於重用一些固定邏輯的物件，減少 GC 壓力。
  2. 分批處理：
    • 將任務分解為多個小批次處理，避免一次性載入和處理過多資料。比如，每次處理 1000 條訂單，而不是一次性載入 10 萬條訂單。
  3. 減少臨時物件的建立：
    • 最佳化程式碼中物件的建立，避免建立不必要的臨時物件，特別是在迴圈中建立的物件。比如，使用 StringBuilder 替換 String 的頻繁拼接操作。
  4. 垃圾回收調優：
    • 調整 GC 策略，增加 Survivor 區的大小，確保短生命週期的物件能夠及時從 Eden 區回收，避免老年代記憶體壓力過大。
    • 增加 MaxTenuringThreshold，讓年輕代的物件有更多機會被回收，而不是過早晉升到老年代。

最佳化效果：

透過物件池複用物件、分批次處理任務、減少臨時物件的建立和垃圾回收調優，能夠顯著減少系統在高併發情況下記憶體佔用，提升任務處理效率 5-10 倍，並降低記憶體溢位的風險。

場景 3：長時間執行的 Web 服務導致堆記憶體溢位

場景描述：

某 Web 應用是一個長時間執行的服務，在處理高併發請求時，服務端生成了大量的物件，長時間執行後，記憶體中的某些物件無法被及時回收，導致堆記憶體溢位。

解決思路：

  1. 記憶體洩漏排查：
    • 使用工具如 VisualVM 或 MAT (Memory Analyzer Tool) 分析堆記憶體，找到可能存在的記憶體洩漏點。
    • 檢查是否有長生命週期的物件引用了短生命週期的物件，導致短生命週期物件無法被 GC 回收。
  2. 最佳化執行緒使用：
    • 使用執行緒池（如 ThreadPoolExecutor）最佳化執行緒的建立和銷燬，避免頻繁建立短生命週期的執行緒。
    • 避免線上程中持有大物件引用，確保執行緒任務結束後，GC 可以及時回收相關物件。
  3. 使用 WeakHashMap 處理短生命週期的物件：
    • 對於某些短生命週期的物件，比如請求上下文中的一些資料，可以使用 WeakHashMap 儲存，避免物件在整個應用生命週期內一直存在。
  4. 定時記憶體清理：
    • 如果系統必須要維持長時間執行，定期觸發 Full GC，並結合日誌監控，主動清理無用的物件，確保堆記憶體使用在合理範圍內。
  5. 調優堆記憶體和 GC 策略：
    • 增大年輕代的大小，確保短生命週期的物件可以快速被 GC 回收。
    • 使用 CMS 或 G1 收集器來最佳化 Full GC 時間，減少長時間執行過程中由於 GC 導致的停頓。

最佳化效果：

透過排查記憶體洩漏、最佳化執行緒管理、弱引用物件管理和 GC 策略調優，可以大幅減少堆記憶體的佔用，同時保持系統的高併發能力，記憶體使用效率可提升 5-10 倍，並避免記憶體溢位。

場景 4：大批次資料處理時，老年代溢位

場景描述：

在企業級系統中，資料批處理任務經常會載入大量歷史資料到記憶體中進行處理，由於資料量過大，導致老年代堆記憶體溢位。

解決思路：

  1. 分塊處理資料：
    • 使用 分頁查詢 或 流式處理 的方式，避免一次性載入過多資料到記憶體中。比如使用 JDBC 的 ResultSet 配合 遊標 分塊獲取資料。
  2. 使用外部儲存：
    • 大量中間計算結果可以暫時儲存到外部儲存系統（如 Redis、檔案系統或資料庫）中，而不是全存放在記憶體裡。
  3. 提升老年代的 GC 效率：
    • 使用 G1 GC 來管理老年代的回收，透過區域化記憶體管理，讓老年代中的物件能夠更高效地回收。
  4. 增大老年代記憶體：
    • 如果系統有足夠的實體記憶體，適當增大老年代記憶體大小，透過引數 -Xmx 和 -XX:NewRatio 來調節年輕代與老年代的比例。

最佳化效果：

透過分塊處理資料、使用外部儲存、提升 GC 回收效率，可以大大減少記憶體壓力，尤其是老年代的溢位問題，提升資料處理任務的執行效率，記憶體利用率提高 5-10 倍。

來查閱的，多半是要準備面試，總結多年來一線實際調優資料中心級大專案，分享JVM調優的經驗，祝你面試順利。記住，感情要的就是上頭的一瞬間，人和人之間，有一些moment就夠了。

相關文章