一次透過dump檔案分析OutOfMemoryError異常程式碼定位過程

落叶微风發表於2024-05-06
Error

OutOfMemoryError是Java程式中常見的異常，通常出現在記憶體不足時，導致程式無法執行。

當出現OutOfMemoryError異常時，可能的現象是這樣的。

  • 程式異常終止：OutOfMemoryError 通常會導致程式異常終止。JVM 無法為新物件分配記憶體時，會丟擲該異常。
  • 堆記憶體不足：OutOfMemoryError 表示堆記憶體不足以為新物件分配空間。這可能會導致應用程式無法繼續正常執行。
  • 記憶體洩漏：OutOfMemoryError 有時會暗示存在記憶體洩漏問題。即使沒有明顯的記憶體洩漏，也可能是應用程式中某些物件持續增加，導致堆空間耗盡。
  • 堆轉儲檔案：在丟擲 OutOfMemoryError 異常時，JVM 可能會生成一個堆轉儲檔案（heap dump），記錄當前堆記憶體的狀態。可以使用該檔案來分析記憶體使用情況和定位問題。
  • 效能下降：在出現記憶體不足的情況下，應用程式可能會經歷效能下降，因為 JVM 可能會頻繁執行垃圾回收以嘗試釋放記憶體。
  • 日誌記錄： 日誌檔案中發現 OutOfMemoryError 。異常訊息通常會包含一些有關記憶體分配失敗的資訊，例如 "Java heap space"（堆空間不足）或 "GC overhead limit exceeded"（垃圾回收開銷過大）。
  • 程式假死：當 JVM 的堆空間不足以分配新物件時，可能會觸發垃圾回收。如果垃圾回收器嘗試回收記憶體但無法釋放足夠的空間，或者由於頻繁的垃圾回收導致系統資源被耗盡，程式可能會出現假死狀態。表現為程序還在，但是無響應、長時間停頓。

可能的堆疊資訊是這樣的。

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at demo.OOMDemo.main(OOMDemo.java:22)

藉助MAT工具和記憶體洩漏產生的dump檔案可以分析可能的記憶體洩漏程式碼問題定位。

什麼是OutOfMemoryError異常

在 Java 中，OutOfMemoryError 是一種錯誤（Error），而不是異常（Exception）。

它表示 Java 虛擬機器（JVM）已經耗盡了可用的記憶體資源，無法再分配給新的物件，導致程式無法繼續執行。

OutOfMemoryError 可能由以下幾種情況引起：

  • 堆記憶體溢位（Heap Space）：當 Java 程式中建立了太多的物件，而堆記憶體無法滿足這些物件的需求時，就會發生堆記憶體溢位。這通常是因為程式中存在記憶體洩漏（Memory Leak）或者處理大量資料時沒有及時釋放記憶體導致的。
  • 方法區溢位（PermGen Space 或 Metaspace）：Java 虛擬機器中的方法區用於儲存類的後設資料資訊、靜態變數、常量池等資料。當載入的類過多或者字串常量過多時，方法區可能會溢位。在 Java 8 及之前的版本中使用的是 PermGen Space（永久代），而在 Java 8 及之後的版本中使用的是 Metaspace。溢位時會丟擲相應的錯誤：PermGen space 或 Metaspace。
  • 棧溢位（Stack Overflow）：每個執行緒在 Java 虛擬機器中都有自己的棧空間，用於儲存方法的呼叫棧資訊。當遞迴呼叫層級過深或者方法呼叫過多時，棧空間可能會溢位，導致棧溢位錯誤。
  • 直接記憶體溢位：使用 NIO（New Input/Output）庫進行 IO 操作時，可能會使用到直接記憶體（Direct Memory）。如果程式中頻繁申請直接記憶體而沒有及時釋放，可能會導致直接記憶體溢位。

什麼是dump檔案

在 Java 中，Dump 檔案是指在程式發生嚴重問題（比如崩潰或者出現記憶體溢位等）時，用於記錄當前 JVM 執行狀態的檔案。Dump 檔案可以包含有關 JVM 執行時的診斷資訊，例如記憶體使用情況、執行緒堆疊資訊、物件例項資訊等，有助於開發人員分析問題並定位 bug。

通常情況下，Dump 檔案主要用於以下幾種情況：

  • 記憶體溢位（OutOfMemoryError）問題分析：當程式發生記憶體溢位錯誤時，可以生成 Dump 檔案以便後續分析。Dump 檔案中包含了記憶體堆的快照，可以檢視堆中物件的分佈情況，幫助開發人員找出造成記憶體溢位的原因。
  • JVM 崩潰問題分析：當 JVM 執行時發生崩潰，無法正常工作時，可以生成 Dump 檔案以便排查問題。Dump 檔案中包含了 JVM 執行時的狀態資訊，例如執行緒狀態、堆疊資訊等，有助於分析問題的根本原因。
  • 效能調優和分析：在進行效能調優時，Dump 檔案可以提供有關 JVM 執行時的詳細資訊，例如執行緒的 CPU 佔用情況、記憶體使用情況等，有助於分析程式的瓶頸並進行最佳化。

生成 Dump 檔案通常需要使用 JVM 提供的工具或者命令列引數。例如，可以使用以下 JVM 引數來指定在發生 OutOfMemoryError 時生成 Dump 檔案：

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=heapdump.log

生成的 Dump 檔案通常是二進位制格式的檔案，可以使用專門的工具（如 Eclipse Memory Analyzer）來開啟和分析。

透過分析 Dump 檔案，開發人員可以更好地理解程式的執行情況，並找出問題所在。

什麼是MAT工具

MAT（Memory Analyzer Tool）是一個用於 Java 應用程式記憶體分析的強大工具。它是一個開源專案，由 Eclipse 基金會提供支援。MAT 的主要功能是幫助開發人員分析 Java 程式的記憶體使用情況，特別是用於識別和解決記憶體洩漏問題。

MAT 工具可以幫助開發人員解決以下型別的問題：

  • 記憶體洩漏分析：MAT 可以透過分析 Java 堆轉儲（Heap Dump）檔案來識別記憶體洩漏問題。它可以顯示物件例項之間的引用關係，並幫助開發人員找出未被正確釋放的物件，從而定位記憶體洩漏的根本原因。
  • 記憶體使用情況分析：MAT 可以提供詳細的記憶體使用情況報告，包括物件例項數量、物件大小、物件引用關係等資訊。這有助於開發人員瞭解 Java 應用程式的記憶體使用模式，並進行最佳化。
  • GC 日誌分析：MAT 可以分析 JVM 輸出的垃圾回收（GC）日誌檔案，幫助開發人員瞭解 GC 活動的情況，包括 GC 頻率、停頓時間、物件分配速率等資訊。
  • 執行緒分析：MAT 可以提供執行緒轉儲（Thread Dump）檔案的分析，幫助開發人員識別死鎖、執行緒阻塞等問題，並定位問題的原因。

MAT 提供了一個直觀的使用者介面，可以透過圖形化介面進行記憶體分析和問題定位。它還提供了一系列的分析工具和報告，幫助開發人員深入理解 Java 應用程式的記憶體行為。

搜尋引擎搜尋 Eclipse Memory Analyzer Tool可以找到下載連結。（外鏈稽核很嚴格~~）

異常發生了定位異常程式碼

使用 MAT 定位 OutOfMemoryError（OOM）的過程通常包括以下步驟：

收集堆轉儲檔案：首先，需要在發生 OutOfMemoryError 異常時收集 Java 應用程式的堆轉儲檔案。可以透過在 JVM 啟動引數中新增 -XX:+HeapDumpOnOutOfMemoryError 來實現，在發生 OOM 異常時會自動生成堆轉儲檔案。

開啟 MAT 工具：開啟 Memory Analyzer Tool（MAT）工具，並匯入之前收集到的堆轉儲檔案。通常，堆轉儲檔案的格式是 .hprof。

執行記憶體分析：在 MAT 中，可以執行各種記憶體分析操作，以定位導致 OutOfMemoryError 異常的原因。以下是一些常見的分析步驟：

  • 記憶體洩漏分析：使用 MAT 的 Leak Suspects 或 Dominator Tree 功能來查詢可能導致記憶體洩漏的物件或物件組。這些功能會顯示物件例項之間的引用關係，幫助確定哪些物件未被正確釋放。
  • 物件分佈分析：檢視物件分佈報告，瞭解不同型別的物件在堆中的分佈情況。這有助於確定哪些型別的物件佔用了大量的記憶體空間。
  • 最大物件分析：使用 Histogram 功能檢視堆中最大的物件例項，這些物件可能是導致記憶體問題的主要原因。
  • 執行程式碼路徑分析：如果堆轉儲檔案包含了足夠的資訊，MAT 可以嘗試生成程式碼路徑以幫助確定哪些程式碼路徑導致了記憶體問題。

定位異常程式碼：在進行記憶體分析的過程中，可以嘗試定位導致 OutOfMemoryError 異常的相關程式碼。根據分析結果，可以檢視物件的引用關係，確定哪些程式碼路徑導致了記憶體洩漏或者記憶體消耗過大的問題。

異常沒有發生定位異常程式碼

異常沒有發生定位異常程式碼，需要透過jmap生成dump檔案。

然後將其匯入到 MAT 中進行分析。以下是生成堆轉儲檔案的步驟：

  • 確定 Java 程序 ID：首先，需要確定正在執行的 Java 程序的程序 ID（PID）。可以使用 jps 命令檢視正在執行的 Java 程序及其 PID。
  • 生成堆轉儲檔案：使用 jmap 命令生成堆轉儲檔案。命令格式如下：
jmap -dump:file=<檔案路徑> <PID>

例如，要生成名為 heapdump.hprof 的堆轉儲檔案，可以執行以下命令：

jmap -dump:file=heapdump.hprof <PID>

這將在當前工作目錄下生成一個名為 heapdump.hprof 的堆轉儲檔案。

  • 匯入堆轉儲檔案到 MAT：將生成的堆轉儲檔案匯入到 MAT 中進行分析。開啟 MAT，然後選擇 File -> Open Heap Dump，然後選擇生成的堆轉儲檔案。
  • 執行記憶體分析：一旦堆轉儲檔案被匯入到 MAT 中，就可以執行記憶體分析，按照前面提到的步驟來查詢記憶體問題。

透過這些步驟可以手動生成堆轉儲檔案並使用 MAT 進行分析，即使沒有在 OutOfMemoryError 發生時自動生成堆轉儲檔案也可以找到問題所在。

驗證demo

首先透過一段測試程式碼來模擬OutOfMemoryError異常。


import java.util.ArrayList;
import java.util.List;

/**
 * 用於驗證oom異常
 * jvm啟動引數  -Xmx200m -Xms200m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=heapdump.hprof
 *
 * @author nine
 * @since 1.0
 */
public class OOMDemo {

    public static void main(String[] args) {
        List<Object> listMock = new ArrayList<>();
        List<Object> list = new ArrayList<>();
        while (true) {
            // 此處程式碼用於創造oom錯誤
            list.add(new byte[10]);
            // 此處程式碼是干擾程式碼，因為清空了變數不會記憶體洩漏
            listMock.add(new byte[5]);
            listMock.clear();
        }
    }
}

啟動程式執行，增加jvm引數 -Xmx200m -Xms200m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=heapdump.hprof。其中堆記憶體大小為200M，便於復現問題。

等待一段時間後，程式會丟擲OutOfMemoryError異常。

java.lang.OutOfMemoryError: Java heap space
Dumping heap to heapdump.hprof ...
Heap dump file created [212763268 bytes in 0.572 secs]
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at demo.OOMDemo.main(OOMDemo.java:20)

同時可以在classpath下看到heapdump.hprof堆轉儲檔案。

開啟MAT，選擇 File>Open Heap Dump>選擇heapdump.hprof>Leak Suspects Report。

MAT會分析可能的幾個問題，標題是 Problem Suspect 1等。

由於此處只有一段程式碼，分析出來的問題也就一個可能問題。

The thread java.lang.Thread @ 0xf45310d0 main keeps local variables with total size 204,667,384 (98.35%) bytes.
The memory is accumulated in one instance of “java.lang.Object[]”, loaded by “<system class loader>”, which occupies 204,666,704 (98.35%) bytes.
Significant stack frames and local variables
•demo.OOMDemo.main([Ljava/lang/String;)V (OOMDemo.java:20)◦java.util.ArrayList @ 0xf45930a8 retains 204,666,728 (98.35%) bytes


The stacktrace of this Thread is available. See stacktrace. See stacktrace with involved local variables.

Keywords
java.lang.Object[]
demo.OOMDemo.main([Ljava/lang/String;)V
OOMDemo.java:20

Details »

點選See stacktrace連結可以看到堆疊資訊。

main
  at java.lang.OutOfMemoryError.<init>()V (OutOfMemoryError.java:48)
  at demo.OOMDemo.main([Ljava/lang/String;)V (OOMDemo.java:20)

這也就是發生異常的程式碼位置。透過修改第20行程式碼，將list.add(new byte[10])註釋掉，可以發現oom錯誤消失。

注：一般堆轉儲檔案很大，可能需要mat的啟動引數來進行大檔案分析。

# 開啟 MemoryAnalyzer.ini 檔案
# 修改啟動引數為 -Xmx2048m
-startup
plugins/org.eclipse.equinox.launcher_1.6.600.v20231106-1826.jar
--launcher.library
plugins/org.eclipse.equinox.launcher.win32.win32.x86_64_1.2.800.v20231003-1442
-vmargs
--add-exports=java.base/jdk.internal.org.objectweb.asm=ALL-UNNAMED
-Xmx2048m

發生OutOfMemoryError的解決辦法

解決 OutOfMemoryError 異常的方法取決於具體情況和根本原因。

  • 分析堆轉儲檔案：當發生 OutOfMemoryError 異常時，可以生成堆轉儲檔案，透過分析該檔案來定位記憶體洩漏或者記憶體使用過多的原因。
  • 最佳化程式碼：檢查程式碼中是否存在記憶體洩漏或者不必要的物件持有，最佳化資料結構和演算法以減少記憶體使用量。特別是要注意避免在迴圈中建立大量臨時物件，及時釋放不再需要的物件引用。
  • 檢查第三方庫：某些第三方庫可能存在記憶體洩漏或者記憶體佔用過大的問題，需要對其進行檢查和最佳化，或者考慮更換其他庫。
  • 使用更高效的資料結構和演算法：選擇更適合場景的資料結構和演算法，以減少記憶體使用量和提高效能。
  • 分析記憶體使用情況：定期監控應用程式的記憶體使用情況，及時發現潛在的問題並採取相應措施。
  • 使用更輕量級的解決方案：有時可以考慮使用更輕量級的框架或工具，以減少記憶體消耗。

再者可以最佳化記憶體引數：

  • 增加堆記憶體：透過增加 JVM 的堆記憶體大小來提供更多的記憶體空間。可以透過調整 -Xmx 和 -Xms 引數來增加堆記憶體的最大和初始大小。但需要注意，過大的堆記憶體可能會導致垃圾回收時間過長，影響程式效能。
  • 增加實體記憶體：如果是物理機器記憶體不足導致的 OutOfMemoryError，可以考慮增加實體記憶體來解決問題。

關於作者

來自一線全棧程式設計師nine的探索與實踐，持續迭代中。

歡迎關注或者點個小紅心~

相關文章