作者 | 何波

**【Arthas 官方社群正在舉行徵文活動，參加即有獎品拿~**[**點選投稿**](http://alibabacloud.mikecrm.com/9khcRrs)**】**

# 1.前言

## 背景

線上程式碼經常會出現 CPU 佔用過高的情況，按以往經驗我會使用 top 指令，進一步藉助於 jstack 去檢視具體資訊從而進行問題排查，但基本上都逃不過需要重新發包的局面，及時是一個增量包，應用也需要短暫停啟。後來運維大兄弟讓我試一下 Arthas，說是可以進行程式碼的熱更新操作，正好來試一下。

關於 Arthas 的安裝與基礎使用可以參考下面兩篇文章：

- [Arthas 安裝與監聽 SpringBoot 應用](https://www.yuque.com/xiankanpengyouquandisitiaodongtai/wewxb3/mm3gc6)
- [Arthas 基礎指令使用說明](https://www.yuque.com/xiankanpengyouquandisitiaodongtai/wewxb3/pbiu1b)

## 環境

> JDK1.8 
> SPringBoot 2.2.2
> Arthas 
> Linux

測試程式碼：

```java
@RequestMapping(value = "/bigThread")
@ResponseBody
public String bigThread(int id) {
    ArthasService.test();
    while (true) {
        Thread t2 = new Thread();
        t2.start();
        id ++;
        if(100000 == id) {
            return String.valueOf(id);
        }
    }
}
```

## 思路

![1.png](https://ucc.alicdn.com/pic/developer-ecology/3980f828168c48a6a29a09adc9a850d0.png)

# 2.thread -b 檢視是否有阻塞執行緒

thread -b, 找出當前阻塞其他執行緒的執行緒，執行完之後並未發現，說明該執行緒並非一直阻塞、一直執行的。

![2.png](https://ucc.alicdn.com/pic/developer-ecology/884d6ef57de24061a51721db455ff398.png)

# 3.thread 檢視佔用最高的執行緒

當 thread 之後不跟引數時，顯示當前全部執行緒資訊，我覺得 thread -n 10，展示前 10 應該就夠用，可根據實際需要自己決定。

下圖可以很直觀的看出，我們的應用瞬間佔用了 77% 的 CPU(這裡我是發起請求瞬間，透過 thread 檢視的，所以比較直觀，生產環境應該只有阻塞，死鎖這種狀態才會比較直觀)。

![3.png](https://ucc.alicdn.com/pic/developer-ecology/06cb22548a6f4f58aa42c6f97c94573c.png)

# 4.thread id 檢視具體資訊

在上一步基礎上，我們進一步檢視，thread 15（因為上面的 ID=15）。

![4.png](https://ucc.alicdn.com/pic/developer-ecology/a9a213d4d6344b038829b07a2076717d.png)

他的大致意思就是：執行緒在等待一個條件從而繼續執行，可以看到方法是在執行 LinkedBlockingQueue.take 方法時候，檢視這個方法的 API 提示如下：

```java
public E take() throws InterruptedException {
    E x;
    int c = -1;
    final AtomicInteger count = this.count;
    final ReentrantLock takeLock = this.takeLock;
    takeLock.lockInterruptibly();
    try {
        while (count.get() == 0) {
            notEmpty.await();
        }
        x = dequeue();
        c = count.getAndDecrement();
        if (c > 1)
            notEmpty.signal();
    } finally {
        takeLock.unlock();
    }
    if (c == capacity)
        signalNotFull();
    return x;
}
```

其中：AtomicInteger 是保證高併發情況下的原子性，ReentrantLock 標識可重入鎖，都是 JUC 包下需要了解的這裡不贅述，需要的百度瞭解下。

這段程式碼關鍵點就在於：notEmpty.await()，**從佇列中消費資料，當佇列為空是，執行緒阻塞，所以我們大致知道現在出現的問題是執行緒阻塞，但是還是不知道具體哪行程式碼的問題。**

如果能夠明確知道這次更改了哪些程式碼，可以直接執行步驟 6，不知道的話可以透過步驟 5 來定位問題。

# 5.watch 檢視哪個 Controller 執行了程式碼

```java
watch org.springframework.web.servlet.DispatcherServlet getHandler returnObj
```

這個指令碼可以檢測一切透過 DispatcherServlet 匹配 Handler 的方法，也就是進入 Controller 的請求，如下：

![5.png](https://ucc.alicdn.com/pic/developer-ecology/a618935048ed440080747dd962318ae5.png)

找到了對應的程式碼之後，我們來進一步觀察異常資訊，這裡可能會有一個問題：就是我明明能透過日誌去檢視錯誤資訊，為什麼還需要這麼繁瑣的去操作。我的業務場景是：日誌還是非常大的，剛撈到就被刷過去了，這時候定位日誌不是很好操作，當然想撈下來日誌肯定也是可以的，也很直觀，我一般也都是去檢視日誌進行問題定位，這裡也是提供一個思路。

# 6.watch 該方法異常資訊

```java
watch 類全路徑 方法名 "{params[0],throwExp}" -e -x 2
```

![6.png](https://ucc.alicdn.com/pic/developer-ecology/0d53c93690094cb0bd802bc38850e3f3.png)

如上，錯誤很直觀的提示了出來，下面就可以修復解決了，這裡我們也可以透過 trace 指令，檢視執行時長：

```java
trace 類全路徑 方法名 "{params[0],throwExp}" -e -x 2
```

返回資訊如下，也可以看到錯誤資訊，和每個方法執行的時長。

```java
[arthas@10999]$ trace com.arthas.controller.OrderController bigThread
Press Q or Ctrl+C to abort.
Affect(class count: 1 , method count: 1) cost in 53 ms, listenerId: 10
`---ts=2020-08-19 14:45:57;thread_name=http-nio-0.0.0.0-8080-exec-10;id=16;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@1f1c7bf6
    `---[1452.684406ms] com.arthas.controller.OrderController:bigThread() [throws Exception]
        +---[0.168814ms] com.arthas.service.ArthasService:test() #20
        `---throw:java.lang.OutOfMemoryError #-2 [unable to create new native thread]
```

# 7.jad 反編譯熱更新

在上面知道問題之後，我們就來定位問題就好了。

**命令：jad 類全路徑 方法名**

```java
[arthas@13190]$ jad com.arthas.controller.OrderController

ClassLoader:                                                                                                                                                                                
+-org.springframework.boot.loader.LaunchedURLClassLoader@17f052a3                                                                                                                           
  +-sun.misc.Launcher$AppClassLoader@3d4eac69                                                                                                                                               
    +-sun.misc.Launcher$ExtClassLoader@45f45fa1

Location:                                                                                                                                                                                   
file:/opt/software/arthas/Arthas.jar!/BOOT-INF/classes!/

/*
 * Decompiled with CFR.
 * 
 * Could not load the following classes:
 *  com.arthas.service.ArthasService
 *  org.springframework.stereotype.Controller
 *  org.springframework.web.bind.annotation.RequestMapping
 *  org.springframework.web.bind.annotation.ResponseBody
 */
package com.arthas.controller;

import com.arthas.service.ArthasService;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;

@Controller
public class OrderController {
    @RequestMapping(value={"/bigThread"})
    @ResponseBody
    public String bigThread(int id) {
        ArthasService.test();
        do {
            Thread t2 = new Thread();
            t2.start();
        } while (100000 != ++id);
        return String.valueOf(id);
    }
}

Affect(row-cnt:1) cost in 1513 ms.
```

此時程式碼就被反編譯了，為了能夠更改，所以我們需要輸出為 java 檔案。

**指令：jad com.arthas.controller.OrderController > /tmp/OrderController.java**

**即：jad 類全路徑 方法名 > 儲存路徑/儲存名稱**

然後到 tmp 路徑下 vi 修改 java 檔案即可，修改完成之後，檢視對應的 classloader 為編譯做準備。

```java
sc -d *OrderController | grep classLoaderHash
mc -c 17f052a3 /tmp/OrderController.java -d /tmp
```

![7.png](https://ucc.alicdn.com/pic/developer-ecology/511500e369f74113b50089c01ce3a408.png)

但是這裡編譯出錯了，官方提示：

![8.png](https://ucc.alicdn.com/pic/developer-ecology/df7b99d71ffb455db7c0c52b19f9d1ed.png)

所以我們本地編譯好 class 檔案，上傳上去是一樣的。

![9.png](https://ucc.alicdn.com/pic/developer-ecology/41f84d8d3a9143f0ae5236dada252478.png)

## 編譯前呼叫

```java
[arthas@13190]$ trace com.arthas.controller.OrderController bigThread
Press Q or Ctrl+C to abort.
Affect(class count: 1 , method count: 1) cost in 77 ms, listenerId: 2
`---ts=2020-08-19 15:51:46;thread_name=http-nio-0.0.0.0-8080-exec-1;id=d;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@1f1c7bf6
    `---[6734.666529ms] com.arthas.controller.OrderController:bigThread() [throws Exception]
        +---[0.786517ms] com.arthas.service.ArthasService:test() #20
        `---throw:java.lang.OutOfMemoryError #-2 [unable to create new native thread]
```

## 更新前程式碼

```java
@RequestMapping(value = "/bigThread")
@ResponseBody
public String bigThread(int id) {
    ArthasService.test();
    while (true) {
        Thread t2 = new Thread();
        t2.start();
        id ++;
        if(100000 == id) {
            return String.valueOf(id);
        }
    }
}
```

## 更新後程式碼

```java
@RequestMapping(value = "/bigThread")
@ResponseBody
public String bigThread(int id) {
    ArthasService.test();
    Thread t2 = new Thread();
    t2.start();
    return "success";
}
```

## 編譯指令

```java
[arthas@13190]$ redefine /tmp/OrderController.class
redefine success, size: 1, classes:
com.arthas.controller.OrderController
```

## 編譯後呼叫三次

```java
`---ts=2020-08-19 15:52:02;thread_name=http-nio-0.0.0.0-8080-exec-3;id=f;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@1f1c7bf6
    `---[5.609405ms] com.arthas.controller.OrderController:bigThread()
        `---[0.204675ms] com.arthas.service.ArthasService:test() #20

`---ts=2020-08-19 15:52:04;thread_name=http-nio-0.0.0.0-8080-exec-4;id=10;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@1f1c7bf6
    `---[3.900149ms] com.arthas.controller.OrderController:bigThread()
        `---[0.14636ms] com.arthas.service.ArthasService:test() #20

`---ts=2020-08-19 15:52:04;thread_name=http-nio-0.0.0.0-8080-exec-5;id=11;is_daemon=true;priority=5;TCCL=org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader@1f1c7bf6
    `---[1.90945ms] com.arthas.controller.OrderController:bigThread()
        `---[0.147353ms] com.arthas.service.ArthasService:test() #20
```

可以發現時間從 6734.666529ms 變成 3ms 左右，說明熱更新的程式碼生效了。

# 8.profile 繪製火焰圖做後續分析

如下圖所示：

![10.png](https://ucc.alicdn.com/pic/developer-ecology/d4a5b35a844e49b098c073786b8e6d45.png)

# Arthas 徵文活動火熱進行中

Arthas 官方正在舉行徵文活動，如果你有：

- 使用 Arthas 排查過的問題
- 對 Arthas 進行原始碼解讀
- 對 Arthas 提出建議
- 不限，其它與 Arthas 有關的內容

歡迎參加徵文活動，還有獎品拿哦~[點選投稿](http://alibabacloud.mikecrm.com/9khcRrs)

> “[阿里巴巴雲原生](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247489867&idx=1&sn=1e52e16f370541de77f84d4a3b100a2d&chksm=fae51284cd929b926bbed215cd609da749ba265693ebc08b1af1f027bf8a1b0e0d9aa682d99b&token=1335200991&lang=zh_CN#rd)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”

記 Arthas 實現一次 CPU 排查與程式碼熱更新

相關文章