作者 | 於爽  中原銀行系統研發工程師，目前在技術平臺室中介軟體小組從事分散式快取、訊息佇列等相關工作。

【Arthas 官方社群正在舉行徵文活動，參加即有獎品拿哦~[點選投稿](http://alibabacloud.mikecrm.com/9khcRrs)】

Arthas 是一款 Java應用開源診斷工具，由於其強大的問題排查及診斷能力，自其開源以來廣受開發者的關注和使用，多次登頂 GitHub Trending，並得到國內多家技術媒體的推薦分享。

# 一. 定製化功能改造

Arthas 可以透過簡單的命令互動模式，接入執行的 JVM，快速定位和診斷線上程式執行問題。在不重啟服務的情況下，實時、動態的修改相關 code，並實時生效。具體工作原理如下：

```
1. 連線JVM：透過attach機制，透過attach pid連線正在執行的JVM；
2. 檢視及修改JVM位元組碼：透過instrument技術對執行中的JVM附加或修改位元組碼來實現增強的邏輯。
```

2018 年底，中原銀行開始投入人員對 Arthas 進行調研，在開源社群瞭解了主要功能，並透過閱讀 Arthas 工程大綱，明晰整體工程結構，整個執行過程如下：Arthas 底層呼叫 rt.jar 包的 ManagementFactory 獲取整個 jvm 內部資訊，透過命令整合與後端互動，執行，返回結果，整個工程簡單清晰，容易上手。

2019 年初，中原銀行技術團隊開始使用推廣 Arthas 定位和診斷線上問題。

出於保護客戶敏感資訊的嚴格要求，同時切實保障生產環境業務系統的穩定執行，我們對 Arthas 的部分功能進行了定製化改造，對一些命令進行了隱藏：

```
1. watch：watch方法可以在沒有列印日誌的情況下，看到方法的入參和返回值，有可能暴露客戶的敏感資訊；
2. mc、redefine：mc組合rdefine可以對程式碼進行熱更新，不能滿足我行生產執行管理規範要求。
```

同時，出於使用需要，定製化開發了 gc 等命令：

```
1. gc：實時動態展示年輕代，年老代垃圾百分比，回收次數及耗時等情況。 
```

下一步，我行計劃在全部開發測試環境、部分生產環境推廣使用 Arthas 來進行問題排查與定位診斷。同時採用內部技術分享的形式向行內應用開發團隊普及推廣 Arthas 的使用。

# 二. 重點使用功能

除了日常問題排查使用到的方法外，Arthas 還有一些強大的功能，深受中原銀行技術團隊喜愛。

## 1.target-ip

```
# target-ip 為指定繫結的IP,如果不指定IP,Arthas只listen 127.0.0.1，所以如果想從遠端連線，則可以使用 --target-ip引數指定listen的IP
java -jar arthas-boot.jar --target-ip IP
```

繫結遠端訪問IP後，可以在透過telnet或http的方式遠端連線 Arthas 進行問題排查。

web端訪問地址：ip：8563

![1.png](https://ucc.alicdn.com/pic/developer-ecology/3249a4a0b1d84bea81bfb5d5bb931abc.png)

/telnet訪問：ip：3658

![2.png](https://ucc.alicdn.com/pic/developer-ecology/150e7677c04b460294c279a75669ab23.png)

當線上應用出現問題時，可以將問題機器隔離起來，透過Arthas在啟動時指定target-ip，多方技術人員可同時透過遠端連線進行問題排查。

## 2.trace

```
# 檢視方法內部呼叫路徑，並輸出方法路徑上的每個節點上耗時 
trace ClassName methodName
```

使用 trace 命令可以一層一層追蹤耗時在哪裡 ，在進行效能調優的時候十分有效。

![3.png](https://ucc.alicdn.com/pic/developer-ecology/cc59000e36414ba29f4b80bfbf300de9.png)

## 3.ognl

ognl 是應用於 Java 中的一個開源的表示式語言，作用是對資料進行訪問，它擁有型別轉換、訪問物件方法、操作集合物件等功能，透過 ognl 可以完成一些列強大的操作。

- 執行靜態方法

```
# 使用ognl呼叫靜態方法
ognl “@類名@方法名(引數)”
```

- 獲取靜態屬性

```
# 使用ognl獲取靜態屬性
ognl “@類名@屬性名”
```

- 示例：修改日誌等級

```
# 查詢當前類的classloader hashcode
sc -d 類名 | grep classLoaderHash
# 用OGNL獲取logger
ognl -c ***** '@類名@logger'
# 單獨設定該類的logger level
ognl -c ***** '@類名@logger.setLevel(@ch.qos.logback.classic.Level@DEBUG)'
#全域性設定logger level
ognl -c ***** '@org.slf4j.LoggerFactory@getLogger("root").setLevel(@ch.qos.logback.classic.Level@DEBUG)'
```

## 4.gc

gc 是我行定製化開發的功能，源自於 jstat -gcutil pid timeinterval 命令，其中 pid 可以從 Arthas 中獲取，timeinterval（單位為毫秒）表示 gc 每次時間間隔，預設為 1s。

```
# 檢視應用gc情況（timeinterval表示間隔時間，單位毫秒，預設為1S）
gc -i timeinterval -n 5
```

![4.png](https://ucc.alicdn.com/pic/developer-ecology/355c9cc526034efabbda3f17b87a962c.png)

# 三. 應用實踐案例

下面記錄一些我行 Arthas 應用實踐案例（由於行內程式碼保密性要求，下文所示案例均為場景復現所寫示例程式碼）

## 案例一：系統 CPU 使用率高

**問題描述**：業務人員反饋後臺管理系統其中一個頁面響應時間很長，登入伺服器上發現 CPU 使用率較高，達到 80% 左右。

### 1. 啟動 Arthas，附加到對應的 java 程式
注意：Arthas 啟動時要使用與 Java 程式相同的啟動使用者。

```
# 啟動Arthas
   java -jar arthas-boot.jar
   [INFO] arthas-boot version: 3.2.0
   [INFO] Found existing java process, please choose one and input the serial number of the process, eg : 1. Then hit ENTER.
   * [1]: 11360 org.gradle.launcher.daemon.bootstrap.GradleDaemon
     [2]: 12196 com.durian.ddp.Application
   # 選擇要附加的java程式編號
   2
   ...
```

### 2. thread 命令檢視 CPU 使用率高的執行緒

啟動 Arthas，附加到對應的 java 程式，執行 thread -n 5 檢視 CPU 使用率最高的 5 個執行緒的堆疊。

```
# 檢視CPU使用率最高的5個執行緒
thread -n 5
at ***.TreeUtil.findMenuChildren(TreeUtil.java:94)
    at ***.TreeUtil.findMenuChildren(TreeUtil.java:92)
    at ***.TreeUtil.findMenuChildren(TreeUtil.java:92)
    at ***.TreeUtil.findMenuChildren(TreeUtil.java:92)
    at ***.TreeUtil.recursiveTree(TreeUtil.java:74)
    at ***.getOwnerDeparmentTree(DepartmentServiceImpl.java:550)
    ...
at ***.TreeUtil.findMenuChildren(TreeUtil.java:94)
    at ***.TreeUtil.findMenuChildren(TreeUtil.java:92)
    at ***.TreeUtil.findMenuChildren(TreeUtil.java:92)
    at ***.TreeUtil.findMenuChildren(TreeUtil.java:92)
    at ***.TreeUtil.recursiveTree(TreeUtil.java:74)
    at ***.getOwnerDeparmentTree(DepartmentServiceImpl.java:550)
    ...
...
```

### 3. 透過 monitor 命令檢視方法的呼叫次數與耗時

透過 thread 命令已經定位到 CPU 主要消耗在 `TreeUtil` 的 `findMenuChildren` 方法上，透過 monitor 命令檢視方法的具體呼叫次數與耗時。

```
# 5s為一個統計週期，統計TreeUtil中findMenuChildren方法的耗時
monitor -c 5 ***.TreeUtil findMenuChildren
```

![5.png](https://ucc.alicdn.com/pic/developer-ecology/656101d8bfaa4610a7e52ab13e3f7e05.png)

透過 monitor 命令可以明確該方法單次呼叫平均耗時為 17 ~ 20ms，但是呼叫次數多，所以整體上頁面響應慢。

**4. 透過 jad 命令反編譯 TreeUtil 類，檢視原始碼**

```
[arthas@12196]$ jad com.durian.ddp.utils.TreeUtil
ClassLoader:
+-sun.misc.Launcher$AppClassLoader@18b4aac2
  +-sun.misc.Launcher$ExtClassLoader@244038d0
Location:
/*
 * Decompiled with CFR.
 *
 * Could not load the following classes:
 *  ***.ResourceTreeVo
 */
...
public class TreeUtil {
    public static ResourceTreeVo findMenuChildren(ResourceTreeVo resourceTreeVo, List<resourcetreevo> treeNodes) {
        for (ResourceTreeVo resource : treeNodes) {
            if (!resourceTreeVo.getResourceId().equals(resource.getResourceParentId())) continue;
            if (resourceTreeVo.getChildResourceVo() == null) {
                resourceTreeVo.setChildResourceVo(new ArrayList());
            }
            resourceTreeVo.getChildResourceVo().add(TreeUtil.findMenuChildren(resource, treeNodes));
        }
        return resourceTreeVo;
    }
    public static List<resourcetreevo> recursiveTree(List<resourcetreevo> list) {
        ArrayList<resourcetreevo> trees = new ArrayList<resourcetreevo>();
        for (ResourceTreeVo treeNode : list) {
            if (!StringUtils.isEmpty(treeNode.getResourceParentId())) continue;
            trees.add(TreeUtil.findMenuChildren(treeNode, list));
        }
        return trees;
    }
}
```

透過 jad 命令檢視原始碼可以發現，此處的業務邏輯大致是透過 `ResourceTreeVo` 物件的 `resourceParentId` 欄位把一個列表構建一個樹。在 `findMenuChildren` 方法中存在遞迴呼叫，而且每一次呼叫都需要遍歷整個 `ResourceTreeVo` 列表來查詢子節點，時間複雜度為 O(n)。所以在 `ResourceTreeVo` 列表元素比較多的時候，會很耗時。

### 5. 解決問題

定位到問題就方便解決了，可以透過提前基於 list 構建一個 `parentId->List<resourcetreevo>` 的 map，每個節點查詢子節點列表的時候可以從 map 中獲取。這樣整個構建樹的時間演算法為 O(n)。

## 案例二：應用執行緒連線數異常

**問題描述**：伺服器控制程式碼數耗盡，檢視發現某個應用佔用控制程式碼數較多。

![6.png](https://ucc.alicdn.com/pic/developer-ecology/a5008a2ab76348bab3b46e0b7db57b68.png)

### 1. thread 命令檢視執行緒資訊

啟動 Arthas，附加到對應的 java 程式，執行 thread 檢視執行緒情況。

```
# 檢視執行緒情況
thread 
```
![7.png](https://ucc.alicdn.com/pic/developer-ecology/afcbbef4ee3540288a3bada9e65c4014.png)

![8.png](https://ucc.alicdn.com/pic/developer-ecology/6d542d61e65c41f29155fbbb053451b8.png)

看到有大量的 `MasterListener-mymaster-*` 執行緒處於連線狀態，一直沒有釋放。

```
# 選擇其中一個執行緒檢視堆疊資訊
thread id  
```
![9.png](https://ucc.alicdn.com/pic/developer-ecology/f87a4d97295646678d9dfdbfe933139b.png)

發現這些執行緒是由 `redis.clients.JedisSentinelPool$MasterListener` 產生的，那麼接下來就來檢視一下 `JedisSentinelPool$MasterListener` 的呼叫情況。

### 2. stack 命令檢視堆疊資訊

```
stack redis.clients.jedis.JedisSentinelPool$MasterListener
```

觸發一次應用請求，列印出如下堆疊資訊：

![10.png](https://ucc.alicdn.com/pic/developer-ecology/b684fd9508fb4b2d9c8ad0ba2db504b1.png)

透過呼叫鏈定位到 `RedisUtil` 類，發現每次請求否會觸發 `RedisUtil.getJedis` 方法呼叫 `JedisSentinelPool$MasterListener`，那麼下一步我們反編譯一下 `REedisUtil` 類。

### 3. jad 命令反編譯檢視程式碼

```
# 反編譯RedisUtil類
jad cn.com.zybank.testredis.starter.RedisUtil
```

![11.png](https://ucc.alicdn.com/pic/developer-ecology/e7c10490a45c4ac7a8b9f5e6adc3f118.png)

檢視 `getJedis` 方法，發現 `getJedis` 每呼叫一次都會新建一個 `JedisSentinelPool` 。

![12.png](https://ucc.alicdn.com/pic/developer-ecology/a934b6925a864cc6868103feef09c5de.png)

透過分析發現，每次使用 redis 時，都會呼叫 `getJedis` 方法建立一個新的 `JedisSentinelPool`，從而啟動一個 `MasterListener-mymaster-*` 執行緒，由於該執行緒會一直保持監聽，不會自動釋放，故隨著應用請求的增加執行緒數一直增加從而導致連線數佔滿。

### 4. 解決問題

針對該問題，只需建立一個全域性的 `JedisSentinelPool`，每次獲取 redis 連線時都從該連線池獲取即可，這裡不再對程式碼進行展示。

# 四.總結建議

我行在使用 Arthas 以前，線上問題排查往往需要查網路、jps、jstack、jmap、jhat、jstat、hprof 等一系列操作，費時費力。目前，大多數的常見問題都可以使用 Arthas 輕鬆定位，迅速解決。

## 一鍵安裝並啟動 Arthas

- **方式一：透過 Cloud Toolkit 實現 Arthas 一鍵遠端診斷**

Cloud Toolkit 是阿里雲釋出的免費本地 IDE 外掛，幫助開發者更高效地開發、測試、診斷並部署應用。透過外掛，可以將本地應用一鍵部署到任意伺服器，甚至雲端（ECS、EDAS、ACK、ACR 和 小程式雲等）；並且還內建了 Arthas 診斷、Dubbo工具、Terminal 終端、檔案上傳、函式計算 和 MySQL 執行器等工具。不僅僅有 IntelliJ IDEA 主流版本，還有 Eclipse、Pycharm、Maven 等其他版本。

推薦使用 IDEA 外掛下載 Cloud Toolkit 來使用 Arthas：[http://t.tb.cn/2A5CbHWveOXzI7sFakaCw8](http://t.tb.cn/2A5CbHWveOXzI7sFakaCw8)

- **方式二：直接下載**

地址：[https://github.com/alibaba/arthas](https://github.com/alibaba/arthas)。

隨著我行全面深化使用 Arthas，也發現了一些有待改進提升的功能，希望進一步最佳化完善。

- 在進行 trace 的時候，只要呼叫鏈中有非同步，堆疊就會斷掉，無法 trace 到子執行緒內部，只能手動逐層跟進 trace，效率較低。
- 希望 tt 命令能夠新增非同步開關，如果開關開啟， 那麼 COST 即可顯示非同步得到結果的耗時。

截至目前，Arthas GitHub Star 已經突破 2.4 萬了，希望 Arthas 能夠獲得更多全球開發者的關注和喜愛，也期待更多像 Arthas 一樣的國內優質專案能夠開源。

# Arthas 徵文活動火熱進行中

Arthas 官方正在舉行徵文活動，如果你有：

- 使用 Arthas 排查過的問題
- 對 Arthas 進行原始碼解讀
- 對 Arthas 提出建議
- 不限，其它與 Arthas 有關的內容

歡迎參加徵文活動，還有獎品拿哦~[點選投稿](http://alibabacloud.mikecrm.com/9khcRrs)

> “[阿里巴巴雲原生](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247489867&idx=1&sn=1e52e16f370541de77f84d4a3b100a2d&chksm=fae51284cd929b926bbed215cd609da749ba265693ebc08b1af1f027bf8a1b0e0d9aa682d99b&token=277022989&lang=zh_CN#rd)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”</resourcetreevo></resourcetreevo></resourcetreevo></resourcetreevo></resourcetreevo></resourcetreevo>

中原銀行 Arthas 實踐之路

相關文章