【死磕JVM】看完這篇我也會排查JVM記憶體過高了 就是玩兒！

牧小農發表於2021-05-05
JVM記憶體

前言

CPU 是時分的，作業系統裡面有很多執行緒，每個執行緒的執行時間由CPU決定，CPU會分給每一個執行緒一個時間片，時間片是一個很短的時間長度，如果在時間片內，執行緒一直佔有，就是100%，我們應該意識到，CPU執行速度很快（主頻非常高），除非是密集型耗費CPU的運算，其他型別的任務都會在小於時間片的時間內結束。

記憶體過高一般有兩種情況：記憶體溢位和記憶體洩露

  • 記憶體溢位： 程式分配的記憶體超過物理機的記憶體大小，導致無法繼續分配記憶體，出現OOM報錯
  • 記憶體洩露： 不再使用的物件一直佔據著記憶體不釋放，導致這塊記憶體浪費掉，久而久之，記憶體洩露的物件堆積起來，也會導致物理機的記憶體被耗盡，出現OOM報錯

具體操作

如何監控JVM，我們可以通過一個案例在瞭解一些實際當中的操作，大家可以看到下面的程式碼，下面的程式碼只是模擬了當中的一個場景，一個風險控制的場景，一般銀行或者第三方公司在向一個人發放貸款的時候，會呼叫這個人的徵信已經還款能力，給出響應的評級。

import java.math.BigDecimal;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

public class FullGCTest {


    //模擬銀行卡的類
    private static class CardInfo {
        //小農的銀行卡資訊記錄
        BigDecimal price = new BigDecimal(10000000.0);
        String name = "牧小農";
        int age = 18;
        Date birthdate = new Date();

        public void m() {}
    }

    //執行緒池 定時執行緒池
    //50個，然後設定 拒絕策略
    private static ScheduledThreadPoolExecutor executor = new ScheduledThreadPoolExecutor(50,
            new ThreadPoolExecutor.DiscardOldestPolicy());

    public static void main(String[] args) throws Exception {
        executor.setMaximumPoolSize(50);

        for (;;){
            modelFit();
            Thread.sleep(100);
        }
    }

    /**
     * 對銀行卡進行風險評估
     */
    private static void modelFit(){
        List<CardInfo> taskList = getAllCardInfo();
        //拿出每一個資訊出來
        taskList.forEach(info -> {
            // do something
            executor.scheduleWithFixedDelay(() -> {
                //呼叫M方法
                info.m();

            }, 2, 3, TimeUnit.SECONDS);
        });
    }

    private static List<CardInfo> getAllCardInfo(){
        List<CardInfo> taskList = new ArrayList<>();
        //每次查詢100張卡出來
        for (int i = 0; i < 100; i++) {
            CardInfo ci = new CardInfo();
            taskList.add(ci);
        }

        return taskList;
    }
}

程式的設計其實比較簡單，就是我們用信用卡的案例來進行說明，比如CardInfo就是信用卡類，我們把這個人對應的信用卡的記錄都呼叫出來，之後做一些自己響應的業務處理方法來對它進行處理和計算，來看看我們這個模型是否符合modelFit，具體怎麼做呢，在應用程式中有一個類是CardInfo，有一個方法叫做getAllCardInfo，每次都是拿100個出來，拿100個之後用執行緒池做計算，執行緒池用的是ScheduledThreadPoolExecutor (定時任務)，new出來執行緒池之後，50個執行緒池，然後做對應的業務邏輯處理，會呼叫 modelFit()，使用100毫秒模擬業務的停頓。

首先我們需要使用javac 命令將Java檔案進行編譯
javac FullGCTest.java進行編譯，然後列印GC日誌，進行風險監控

列印GC日誌：java -Xms200M -Xmx200M -XX:+PrintGC FullGCTest

在這裡插入圖片描述

怎麼知道JVM記憶體過高？

在公司裡面，如果遇到了JVM記憶體過高的情況，那麼一般是運維團隊首先受到報警資訊，然後通知對應的開發人員去檢視，那麼開發人員應該如何檢視，或者怎麼樣去排查呢？

1、top 檢視程式

受到報警資訊後，拿top命令去查詢

[root@root ~]# top
在這裡插入圖片描述

檢視記憶體不斷增長，CPU佔用率居高不下的。top後你會看到它的PID（31061）。它佔比比較高。

2、top -Hp 檢視執行緒

找到CPU佔用比較高的程式PID，這裡我們以 java 的程式為例
使用命令 top -Hp 31061，這個時候它會把這個程式裡面所有的執行緒全部執行緒都羅列出來嗎，這些都是Java這個程式裡面內部的一些執行緒，如下圖所示：

在這裡插入圖片描述

我們會看到每個執行緒的佔比都差不多，偶爾會有某一個執行緒比較高，在某些執行緒佔得比較高的時候，這個小例子最終會是垃圾回收的執行緒佔得比較高，因為垃圾回收不過來了，所以需要不停的來回回收，每次都回收一點點，實際這種例子裡面非常有可能是你業務邏輯執行緒，那一塊的業務邏輯執行緒佔比非常高，這是時候就需要用到另外的命令——jstack

3、jstack

當我們使用 top -Hp 知道了是哪個執行緒後，我們下一步就可以使用 jstack 命令，比如我們要檢視31083這個執行緒號，31061是我們的程式PID，我們要定位某一個執行緒cpu的佔比會比其他cpu高很多，那麼我們就要定位這個執行緒裡面到底是什麼樣的問題的時候，就需要把這個執行緒號（31083）記下來。

因為 jstack 用到的執行緒號是16進位制的，所以我們需要把31083的10進位制轉換成16進位制才可以

特點：

  • 每個執行緒有自己的執行緒號碼，裡面有執行緒的狀態，可以觀察執行緒是否阻塞，如果長時間的wait和block說明這個執行緒是有問題的

4、轉換16進位制

因為Java執行緒檔案中的執行緒ID是16進位制，所以需要將執行緒ID從十進位制轉換成十六進位制
命令：echo "obase=16;31083" | bc
在這裡插入圖片描述

5、jstack用法解析

[root@root ~]# jstack
Usage:
    jstack [-l] <pid>
        (to connect to running process)
    jstack -F [-m] [-l] <pid>
        (to connect to a hung process)
    jstack [-m] [-l] <executable> <core>
        (to connect to a core file)
    jstack [-m] [-l] [server_id@]<remote server IP or hostname>
        (to connect to a remote debug server)

Options:
    -F  to force a thread dump. Use when jstack <pid> does not respond (process is hung)
    -m  to print both java and native frames (mixed mode)
    -l  long listing. Prints additional information about locks
    -h or -help to print this help message

6、jstack檢視輸出

我們也可以用 jps或者java ps -ef| java來檢視Java程式，這裡我們用jps來檢視

[root@root ~]# jps

在這裡插入圖片描述
[root@root ~]# jstack 31061


"pool-1-thread-3" #10 prio=5 os_prio=0 tid=0x00007f3568105800 nid=0x7961 waiting on condition [0x00007f35455cf000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f8a81148> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1088)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

"pool-1-thread-2" #9 prio=5 os_prio=0 tid=0x00007f3568103800 nid=0x7960 waiting on condition [0x00007f35456d0000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f8a81148> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1088)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

"pool-1-thread-1" #8 prio=5 os_prio=0 tid=0x00007f3568102000 nid=0x795f waiting on condition [0x00007f35457d1000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f8a81148> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1088)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

"Service Thread" #7 daemon prio=9 os_prio=0 tid=0x00007f35680b4000 nid=0x795d runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C1 CompilerThread1" #6 daemon prio=9 os_prio=0 tid=0x00007f35680b1000 nid=0x795c waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread0" #5 daemon prio=9 os_prio=0 tid=0x00007f35680af000 nid=0x795b waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Signal Dispatcher" #4 daemon prio=9 os_prio=0 tid=0x00007f35680ad800 nid=0x795a runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Finalizer" #3 daemon prio=8 os_prio=0 tid=0x00007f356807c800 nid=0x7959 in Object.wait() [0x00007f3558301000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        - waiting on <0x00000000f8a86b38> (a java.lang.ref.ReferenceQueue$Lock)
        at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:144)
        - locked <0x00000000f8a86b38> (a java.lang.ref.ReferenceQueue$Lock)
        at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:165)
        at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:216)

"Reference Handler" #2 daemon prio=10 os_prio=0 tid=0x00007f3568077800 nid=0x7958 in Object.wait() [0x00007f3558402000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        - waiting on <0x00000000f8a86cf0> (a java.lang.ref.Reference$Lock)
        at java.lang.Object.wait(Object.java:502)
        at java.lang.ref.Reference.tryHandlePending(Reference.java:191)
        - locked <0x00000000f8a86cf0> (a java.lang.ref.Reference$Lock)
        at java.lang.ref.Reference$ReferenceHandler.run(Reference.java:153)

"main" #1 prio=5 os_prio=0 tid=0x00007f3568009800 nid=0x7956 waiting on condition [0x00007f356ed59000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
        at java.lang.Thread.sleep(Native Method)
        at FullGCTest.main(FullGCTest.java:35)

"VM Thread" os_prio=0 tid=0x00007f356806e000 nid=0x7957 runnable 

"VM Periodic Task Thread" os_prio=0 tid=0x00007f35680b7000 nid=0x795e waiting on condition 

JNI global references: 205

在這裡插入圖片描述
通過thread dump分析執行緒狀態

大多數情況下會基於thead dump 分析當前各個執行緒的執行情況，如是否存在死鎖，是否存在一個執行緒長時間持有鎖不釋放等等

在dump中，執行緒一般存在如下幾種狀態：
1、RUNNABLE，執行緒處於執行中
2、BLOCKED，執行緒被阻塞
3、WAITING，執行緒正在等待

locked <0x000000076bf62208>說明執行緒 對地址為0x000000076bf62208物件進行了加鎖；
waiting to lock <0x000000076bf62208> 說明執行緒 在等待地址為0x000000076bf62208物件上的鎖；
waiting for monitor entry [0x000000001e21f000]說明執行緒 是通過synchronized關鍵字進入了監視器的臨界區，並處於"Entry Set"佇列，等待monitor；
waiting on <0x0000000088ca3310> (a java.lang.Object)等待鎖的釋放

假如有一個程式中有100個執行緒，很多執行緒都在waiting on 某一把鎖，然後執行緒不該阻塞的被阻塞了，該結束的沒結束掉，一定要找到哪個執行緒持有這把鎖 ，我們可以搜尋 jstack dump 的資訊，找到<0X...>的資訊，看哪個執行緒只有了這把鎖，一般這個執行緒狀態是RUNNABLE，表示這個執行緒正在執行但是一直持有這把鎖不釋放，那麼就會導致整個執行緒的死鎖

7、jstack分析死鎖

public class TestDeadLock {

    private static Object obj1 = new Object();
    private static Object obj2 = new Object();

    public static void main(String[] args) {
        new Thread(new Thread1()).start();
        new Thread(new Thread2()).start();
    }

    private static class Thread1 implements Runnable {
        @Override
        public void run() {
            synchronized (obj1) {
                System.out.println("Thread1 拿到了 obj1 的鎖！");
                try {// 停頓2秒的意義在於，讓Thread2執行緒拿到obj2的鎖
                    Thread.sleep(2000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                synchronized (obj2) {
                    System.out.println("Thread1 拿到了 obj2 的鎖！");
                }
            }
        }
    }


    private static class Thread2 implements Runnable {
        @Override
        public void run() {
            synchronized (obj2) {
                System.out.println("Thread2 拿到了 obj2 的鎖！");
                try {
                    // 停頓2秒的意義在於，讓Thread1執行緒拿到obj1的鎖
                    Thread.sleep(2000);
                } catch (Exception e) {
                    e.printStackTrace();
                }
                synchronized (obj1) {
                    System.out.println("Thread2 拿到了obj1的鎖！");
                }
            }
        }
    }

}

在這裡插入圖片描述
通過命令檢視分析日誌

[root@root fuccGC]# jps
485 Bootstrap
9877 Jps
10629 QuorumPeerMain
9846 TestDeadLock
[root@root fuccGC]# jstack 9846

在這裡插入圖片描述

記憶體監控工具的使用

我們可以使用jvm自帶的命令去進行監控GC的資訊：
jinfo pid： 這個命令就是把這個程式的一些詳細資訊列出來
[root@root ~]# jinfo 9846
這個只是有幫助，但是幫助不是特別大，大家只要記住有這個命令就行，不做深入瞭解
在這裡插入圖片描述
jstat -gc pid 1000： 這個就是每一秒鐘將GC的日誌列印出來，動態 觀察GC情況/閱讀GC日誌發現頻繁GC等等，但是這個資訊看起來不是很直觀，能夠分析出來的東西也不多，所以一般使用的也不是很多
在這裡插入圖片描述

我們用的最多的還是通過工具去檢視，比如 jconsole/jvisualvm

1、 jconsole

這兩個是JDK自帶的一個工具，也是 一個圖形介面的工具，只要你裝了JDK就有這兩個工具，可以從本機去跟蹤遠端伺服器上的一個程式，作為Linux伺服器，很少有人會裝圖形介面，如下圖所示：
在這裡插入圖片描述

在我們程式啟動的時候要加入引數：

  java -Djava.rmi.server.hostname=101.XX.XXX.XX -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8080 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.rmi.port=8080 FullGCTest

在這裡插入圖片描述

在這裡插入圖片描述

基本情況如下，我們就可以監控到我們遠端伺服器上面的記憶體資訊
在這裡插入圖片描述

2、 jvisualvm

雙擊 jvisualvm
在這裡插入圖片描述

選擇遠端-點選檔案按鈕

在這裡插入圖片描述
選擇新增JMX連線
在這裡插入圖片描述
輸入我們的地址和賬號密碼就可以登入了
在這裡插入圖片描述

這樣就可以檢視我們遠端服務的記憶體資訊了
在這裡插入圖片描述

在這裡插入圖片描述
在這裡我們就知道怎麼定位問題了，哪一個類佔用了多少記憶體，就會顯示出來，點選抽樣器，記憶體，之後就會對遠端的那臺機器的JAVA程式記憶體，在圖形化介面中顯示，有多少個類，佔用了多少個位元組，這樣我們就可以具體定位到是哪個類有問題了

面試中如何回答定位記憶體溢位(OOM)

如果面試官我們如何定位OOM的問題，但是我們不能回答用圖形介面，因為作為一個服務來講，在不斷的執行，當我們開一個JMX服務的時候，會形象服務本來的執行效率，那我們已經上線的系統不用圖形化用什麼？還有一個叫Jprofiler是最好用的圖形介面，但是這個是收費的，所以一般用不到，

如果不用圖形介面那我們用什麼，我們可以用 cmdline、arthas這兩個
圖形介面用在什麼地方呢？用在測試上，測試的時候進行監控~

如果已經上線的專案，我們不用圖形介面可以用什麼呢？我們可以用Jmap

jmap

[root@root ~]# jmap -histo 19086 | head -20
在這裡插入圖片描述
它就會把我們的記憶體資訊列印出來，雖然沒有圖形化介面方便，但是裡面的資訊也足夠我們去觀察和定位問題了

線上系統，記憶體特別大，jmap執行期間會對程式產生很大影響，甚至卡頓（電商不適合）

  1. 設定了引數HeapDump，OOM的時候會自動產生堆轉儲檔案(java -Xms20M -Xmx20M -XX:+UseParallelGC -XX:+HeapDumpOnOutOfMemoryError FullGCTest)
  2. 很多伺服器備份（高可用），停掉這臺伺服器對其他伺服器不影響
  3. 下期講解，哈哈哈

今天的JVM課程就到這裡了，原創不易，大家記得一鍵三連~，點贊/收藏過百，我就是懷雙胞胎也出下一篇。

我是牧小農，怕什麼真理無窮，進一步有進一步的歡喜，大家加油！！！

相關文章