![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/90250406a4e3459c8b9d73e3ed2e7dbc.png)

作者 | 劉慕雨 中國工商銀行軟體開發中心雲端計算實驗室

在資訊系統建設方面，工商銀行一直積極探索，以開放的姿態借鑑行業先進經驗，旨在為客戶提供更優質的金融服務和使用者體驗。隨著分散式架構和雲端計算平臺在工行的廣泛應用，如何高效排查程式錯誤或效能瓶頸，是個棘手的問題。

為此，我們基於 Arthas 建設了線上診斷平臺，在保護客戶資訊保安的原則基礎上，對相關能力做了剪裁和整合，透過 Web 方式支援更復雜的互動場景，在實際線上問題分析中發揮關鍵作用。

工行線上診斷平臺：

![1.png](https://ucc.alicdn.com/pic/developer-ecology/b8f22ed4bbc74a3691fe4f74c6502229.png)

下面對工行線上診斷平臺的建設做個階段性總結，分享一下我們的建設經驗、實際效果以及未來展望，也希望能給社群提供一個參考。

# 傳統方式排查問題的痛點

對於後端工程師，一旦線上程式邏輯出錯，問題排查如同破案，在分析研判時，問題現場的第一手資訊是最珍貴的。開發人員很容易首先想到的就是閱讀日誌，從海量的日誌中尋找蛛絲馬跡，這就好比是對犯罪現場周邊的影片監控錄影逐一回看，非常辛苦。如果問題現場的日誌記錄缺失，就嘗試在本地重現問題並除錯解決，本地難以重現的，只能再加日誌，再部署，再重現，然後再查日誌，效率較低。對於複雜一些的比如程式效能問題，如何定位效能瓶頸，一不小心又要回到加日誌、部署、查日誌、再加日誌的老路，不僅效率不高，也破壞了問題現場。

JDK 提供的工具如 jps、jmap、jstat、jstack、jconsole 等，可以為工程師提供一些幫助。Linux 作業系統的命令，如 top、free、pidstat、vmstat、iostat 等，也是排查問題尤其是效能調優必不可少的工具。但直接使用這些工具，對工程師的個人技術能力和經驗要求較高。而且對企業來說，在生產環境直接透過命令列操作，是很敏感的行為。因此，如何在保證安全的基礎上，又能像除錯本地程式一樣更便捷的排查分析，是個棘手的問題。

# Arthas 的解決方案
 
2018 年我們在參加一次 Dubbo Meetup 上，聽了關於使用開源的 Arthas 工具排查 Dubbo 問題的分享。研究發現，Arthas 透過 JVM 的 Attach 機制，在不影響服務連續性的情況下，實時連線到目標程式，便於工程師線上排查問題。此外，Arthas 的位元組碼增強框架，可以透過 Instrumentation 技術動態修改位元組碼（需要 Java 虛擬機器實現支援 retransformClasses），替換成新的 class，這就為線上除錯提供了可能。

Arthas 原理圖：

![2.png](https://ucc.alicdn.com/pic/developer-ecology/4e0e1bc5be204212aae4a4cd532f8633.png)

比如，使用 watch 命令，實時觀測方法的呼叫情況；使用 jad 命令，把位元組碼反編輯成 java 程式碼；使用 redefine 命令，可以對程式碼做熱更新，讓開發人員告別不停“加日誌、部署、查日誌、再加日誌”的套娃時代。在 Arthas 剛推出沒多久，還提供了一個簡單的 Web Console 功能，實際是一個以 Websocket 訪問 Arthas 程式的方式，這也為我們後面建設線上診斷平臺提供了思路。

# 落地使用上的困難

直接使用 Arthas 的命令列互動方式，不能滿足金融級運維要求，在落地使用上存在一些實際的問題：<br>

- **資訊保安問題**：Arthas 可以透過命令列方式，直接觀測方法的入參、返回值，這就涉及到一些客戶敏感資訊，直接在生產環境使用命令列操作顯然是不合適的。

- **學習成本問題**：工具的安裝使用存在一定的學習成本，尤其是對於新員工來說。

- **多人協作問題**：當多個開發者對同一個目標程式進行診斷時，可能存在衝突，例如，一個同學正在 watch 某個方法，另一個同學把這個方法 redefine 了，那麼第一個同學 watch 到的其實是別人替換後的程式碼的執行情況，這就像一個多執行緒訪問共享資源的執行緒安全問題。再比如兩個同學都在 attach 同一個程式，一個同學用完了，直接把 Arthas 程式 shutdown（關閉），而另一個還在使用的同學就突然不能用了。

- **資源佔用問題**：如果開發者忘記關閉 Arthas，Arthas 程式會佔用一定的系統資源（如記憶體、CPU）。當然，Arthas 本身對資源開銷是有很多考慮的，比如 Arthas 使用自定義的類載入器載入自身的類，在關閉時將引用置空，這樣在下一次垃圾回收的時候，自定義類載入器載入的類就會被回收，從而避免對原有工程的影響。因此，我們認為 Arthas 應該在排查問題時使用，而不應該當作常規監控工具一直執行。

- **環境不統一問題**：在不同的 Java 虛擬機器實現安裝和使用 Arthas，可能會碰到一些奇怪的問題，比如用 Hotspot 虛擬機器執行 Arthas 程式，而目標虛擬機器是 J9 實現，attach 的時候可能會出錯。另一方面，生產環境雲上、雲下節點規模龐大，網路訪問許可權是嚴格控制的，開發人員想遠端連線目標程式，涉及到許可權開通、版本管理、安裝程式下發等問題。

# 技術方案

我們設計了一套輕巧的架構，讓開發人員以 Web UI 的方式，便捷、直觀的使用各類線上診斷能力。那麼我們是怎麼做的呢？

## 1. 整體架構

整體架構大致分成線上診斷平臺、線上診斷閘道器（後簡稱閘道器）、線上診斷程式三部分，透過一個閘道器叢集統一代理對雲上、雲下節點的訪問，閘道器提供 Restful 介面給線上診斷平臺（後簡稱平臺）呼叫。一個介面可能組合了多個 Arthas 指令，也可能對指令的執行結果進行剪裁和修改，處理成 json 格式資料返回給平臺做展示。

整體架構圖：

![3.png](https://ucc.alicdn.com/pic/developer-ecology/8c76b316f68c4c8fad0d696c3d04aa2e.png)

### 1）線上診斷平臺

線上診斷平臺是開發人員進行線上診斷的入口，平臺透過 Web UI 的方式提供一站式線上診斷能力，支援複雜的互動場景。除了提供出色的使用者體驗，平臺還解決了安裝解除安裝、多人協作、使用者鑑權、連線保持、操作審計等問題。

- **安裝解除安裝**：根據使用者在平臺輸入目標節點和程式資訊，實現診斷程式的安裝和解除安裝，具體將在下一節介紹。

- **多人協作**：當多個使用者同時診斷同一個程式時，對於存在衝突的功能，平臺透過分散式鎖實現互斥，保障同一時刻只有一個使用者能使用，當然這麼做的前提是平臺在功能設計時考慮原子性。另外，當一個使用者試圖關閉一個其他使用者正在使用的連線時，也會被拒絕。

- **使用者鑑權**：建立審批和黑白名單機制，基於 RBAC 模型，同時聯動 CMDB，對操作人員的許可權進行嚴格管控，普通開發者需要被授權才可使用，各類診斷功能的使用許可權也和使用者角色掛鉤，許可權控制強度從生產環境到開發環境逐漸減弱。

- **連線保持**：Arthas 一些命令比如 dashboard，提供了實時監控目標程式整體執行情況的功能，預設每 5 秒重新整理一次。對於這樣的功能，平臺的前端透過 websocket 與後端保持連線，後端記憶體中維護了一個目標物件和已連線使用者的對照關係，如果多個使用者同時監控某個目標物件，後端每次只會定時傳送一次請求給閘道器。這麼做的好處，是在保證了實時監控的同時，節約連線資源，避免了多人訪問時，到目標伺服器的不必要的重複連線。此外，為了防止使用者忘記解除安裝診斷程式，對照關係也會同步到配置中心，當記憶體中某個目標物件對應的使用者全部下線時，會觸發一次檢查，如果發現配置中心中的使用者也已經全部下線，平臺會自動傳送 shutdown 請求給閘道器，解除安裝診斷程式。

- **操作審計**：透過切面的方式，對使用者的各類操作進行記錄和儲存，達到審計的目的。

### 2）線上診斷閘道器

閘道器的作用，一是統一打通了到行內雲上、雲下環境的火牆；二是由於我們當時使用的 Arthas 版本還不支援 Restful 介面（最新版本已支援），返回報文都是文字的形式，閘道器側在這裡會對文字進行解析，處理成 json 格式的結構資料，方便平臺側做展示。歸納起來，閘道器的主要目的是統一代理對目標節點的訪問，同時封裝診斷能力，提供標準 json 結構資料的 Restful 介面給行內各平臺訪問。閘道器在封裝診斷能力時，還會進行引數校驗、超時管理、資料脫敏、文字處理等工作。

- **引數校驗**：閘道器需要對診斷命令的引數做合法性校驗，比如tt命令要控制最大觀測次數防止撐爆記憶體，保證使用安全。

- **超時管理**：一些監聽類的命令，比如watch命令，如果一直監聽不到呼叫，需要設定超時時間，防止連線一直不被釋放。

- **資料脫敏**：對於涉及客戶敏感資訊的命令，閘道器會做資料脫敏，保障客戶資訊保安，部分關鍵業務的敏感資料，閘道器側會做封閉禁止訪問。

- **文字處理**：閘道器向 Arthas 程式傳送指令後，收到的報文是文字形式，為了便於平臺側展示，閘道器將非結構資料處理成結構資料，並對文字中的一些非關鍵資料進行剪裁。這裡要注意因為 telnet 有個視窗大小的配置要適當調整，配置太小的話有可能導致文字不全。

### 3）線上診斷程式

也就是 Arthas 程式，需要考慮安裝、啟停、版本管理、網路隔離等問題，具體做法在下一節詳細介紹。

## 2. 診斷過程詳解

工程師第一次對目標伺服器進行診斷時，涉及安裝、啟動、使用、解除安裝等一系列步驟，如下圖所示：

![4.png](https://ucc.alicdn.com/pic/developer-ecology/d67462ac4fd64b26895e980a89db9da5.png)

### 1）診斷前準備

下圖是我們的安裝介面，當使用者授權透過後，即可填寫目標伺服器資訊開始安裝。如果是傳統虛擬機器時，使用者需輸入虛擬機器 ip 和目標程式關鍵字（如程式的 pid、程式的啟動類名、程式的 jar 名稱等）；如果是容器，還需提供容易 id：

![5.png](https://ucc.alicdn.com/pic/developer-ecology/ce41e46ea0e04ac3b3eff3f65f2abe44.png)

### 2）開始安裝

使用者點選安裝後，會觸發一系列操作。首先線上診斷平臺傳送一個探活請求給閘道器，閘道器收到請求後相應的也傳送一個空指令給目標節點。平臺根據響應判斷，如果探活成功，則傳送診斷請求開始診斷；否則傳送安裝請求到行內指定的管理系統（傳統虛擬機器/容器，後續簡稱通道）。

### 3）獲取安裝介質

以傳統虛擬機器為例（如果是容器則把安裝介質下發到宿主機），通道去目標伺服器指定目錄查詢診斷程式的版本檔案，如果獲取成功且版本是最新的，則通道直接執行啟動指令碼。否則，通道會通知目標伺服器從公共的檔案伺服器上，下載最新版本的安裝介質。

### 4）啟動診斷程式

安裝介質實際是一個壓縮包，包括安裝指令碼、jar、版本檔案等。安裝介質首次下載到目標伺服器後，通道對其解壓並執行啟動指令碼。我們修改了 Arthas 的啟動指令碼，根據使用者輸入的程式關鍵字，找到目標程式，然後使用和目標程式相同的 jdk 版本，啟動診斷程式。注意，啟動時 Arthas 的 target-ip 引數被設定為閘道器地址，以隔離其他渠道訪問，預設值 127.0.0.1 表示只能本地訪問。

### 5）使用和解除安裝
 
診斷程式接收使用者診斷指令，開始診斷。使用完使用者可手工點選解除安裝，銷燬診斷程式。

# 實際使用效果

這裡舉幾個例子，看一下平臺的實際使用效果。

## 1. 控制皮膚

基於 dashboard 命令，控制皮膚實時展示目標程式的整體執行情況，包括執行緒、jvm、作業系統等，每隔 10s 重新整理一次，使用者也可選擇手動重新整理。執行緒按 CPU 使用率取 TOP10，jvm 主要展示記憶體分佈和 GC 情況：

![6.png](https://ucc.alicdn.com/pic/developer-ecology/290882baf61a43deab48db32948f4ba5.png)

點選查詢更多可以檢視詳情，比如監控 jvm 的記憶體及垃圾回收情況：

![7.png](https://ucc.alicdn.com/pic/developer-ecology/874577c23dc84c0d9ffdae085431601b.png)

## 2. 執行緒清單

執行緒清單頁面按 CPU 使用率分頁展示所有執行緒，支援按執行緒狀態（如 RUNNABLE、BLOCKED）過濾，在控制皮膚頁面點選檢視更多，也可以直接跳到此頁面：

![8.png](https://ucc.alicdn.com/pic/developer-ecology/4838631cd14a4af2ac68e516f8e1c3bf.png)

點選某條記錄，跳轉到執行緒詳情，展示執行緒堆疊，在堆疊中選中一個方法，則可以直接進行方法觀測、方法追蹤、方法追溯、方法監控、反編譯等操作：

![9.png](https://ucc.alicdn.com/pic/developer-ecology/576f442ad1794251be27151269a0cd97.png)

## 3. 方法監測

方法監測指的是對方法執行情況的監控和觀測，具體包括下面幾個功能。

### 1）方法觀測

支援對選中的堆疊中的方法進行觀測，也就是 watch 命令，這裡以開發環境舉例（開發環境不做資料脫敏），可以實時捕獲方法的輸入、輸出、異常堆疊、執行耗時等，並且支援指定觀測次數、耗時限制等條件。比如我這裡對 UserServiceImpl 類的 findUser 方法的呼叫情況進行觀測：

![10.png](https://ucc.alicdn.com/pic/developer-ecology/777b2c348abf453e853d6cdc28328a76.png)

當方法拋異常時展示堆疊：

![11.png](https://ucc.alicdn.com/pic/developer-ecology/854a3fdfdd604f04a7acce3148804d03.png)

### 2）方法追蹤

方法追蹤指的是追蹤方法的呼叫棧，列印每個方法的執行耗時，基於 trace 命令實現，在排查效能問題時非常有用。看一下方法追蹤的介面，直接高亮標記出呼叫棧上耗時最久的方法，也支援配置過濾規則，過濾一些不關心的方法（比如 java 底層程式碼）。在這個方法呼叫棧介面，又可以選中其中某個方法，進行觀測、追溯、監控等操作，不同的診斷能力之間都是打通的：

![12.png](https://ucc.alicdn.com/pic/developer-ecology/6c786768c04c407582a93b48c1314ca3.png)

### 3）方法追溯

有時需要追溯方法被誰呼叫了，則可以使用方法追溯。比如這裡透過方法追溯可以看到 Dubbo 的 Filter 處理鏈：

![13.png](https://ucc.alicdn.com/pic/developer-ecology/4ad1a8fb6d46445881f4d05acd5963e6.png)

### 4）方法監控

有時我們需要對某個方法一段時間的執行情況進行觀測，這時可以使用方法監控功能。比如這裡每隔 10 秒統計一次方法的執行次數、成功失敗次數、平均耗時、失敗率等指標：

![14.png](https://ucc.alicdn.com/pic/developer-ecology/7bb172082f2745c7bf3dced9aff02e31.png)

## 4. 反編譯
 
當我們需要確認 Java 虛擬機器載入的程式碼情況時，比如你修改的程式碼是否生效，我們在本地經常使用一些反編譯工具以達目的。jad 命令提供了線上反編譯能力，我們基於 jad 以介面的形式展示 Java 虛擬機器載入的實際程式碼，同時也會展示類載入器樹、類的路徑。比如這裡對 findUser 方法的反編譯情況（不指定方法名的話，則對整個類反編譯），可以看到這個類屬於 springboot 專案，被 spring 的類載入器載入：

![15.png](https://ucc.alicdn.com/pic/developer-ecology/eebb91b85b0940c297da600bf78919dc.png)

## 5. 其他能力
 
我們對其他的實用命令，也做了一些封裝和定製，比如 sc、sm、redefine、tt 等，這裡就不一一介紹。此外，我們也將實時診斷能力和內部監控運維繫統相整合，在排查問題時，可以透過直接跳轉的方式申請線上診斷許可權，對目標程式做實時診斷。下圖是行內全鏈路跟蹤產品截圖，支援直接對問題鏈路關聯的節點進行診斷：

![16.png](https://ucc.alicdn.com/pic/developer-ecology/ce8c8732eaba43bb8911ce563f565e92.png)

# 回顧與展望

簡要回顧一下前面提到的幾個困難和我們的解決方案：

- **學習成本問題**：我們透過 Web UI 的方式降低學習成本，也提供了更復雜的互動場景和出色的使用者體驗。透過閘道器統一提供 Resful 介面提供結構資料，也更便於整合到企業內部其他運維平臺。

- **多人協作問題**：透過會話管理、互斥訪問、自動解除安裝等手段，解決多人協作問題。

- **資訊保安問題**：透過使用者鑑權、資料脫敏、操作審計、網路隔離等手段，解決資訊保安問題。

- **資源佔用問題**：透過自動解除安裝、減少連線、自定義類載入器（Arthas自帶）等手段，在充分效能測試基礎上，保障資源佔用可控。

- **環境不統一問題**：透過搭建閘道器叢集，統一代理對雲上、雲下環境的訪問。採用一致的策略，統一管理雲上、雲下環境介質的版本、下發和安裝。

當前，工行線上診斷平臺已在實際線上問題分析中持續發揮關鍵作用，Arthas 也越來越得到社群的關注和開發者的認可。Arthas 官方在新版本中已經支援了 Restful 介面，提供結構資料，也支援了更豐富的診斷命令，這跟我們的建設思路不謀而合。未來，我們將繼續積極參與社群建設，將工行的實踐經驗分享給大家。

### Arthas 有獎徵文正在進行中！

為了讓更多開發者開始用上 Arthas 這個 Java 診斷神器，今年 3 月 26 日，Arthas 社群聯合 JetBrains 推出 [Arthas 有獎徵文活動](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247489867&idx=1&sn=1e52e16f370541de77f84d4a3b100a2d&chksm=fae51284cd929b926bbed215cd609da749ba265693ebc08b1af1f027bf8a1b0e0d9aa682d99b&token=1321663756&lang=zh_CN&scene=21#wechat_redirect)：**聊聊這些年你和 Arthas 之間的那些事兒。**活動已進行至第五期，點選連結即可參與：[http://alibabacloud.mikecrm.com/9khcRrs](http://alibabacloud.mikecrm.com/9khcRrs)，歡迎大家踴躍投稿，參與即有可能獲獎！

> “[阿里巴巴雲原生](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247495091&idx=1&sn=d2eae0c02b90357fd9d7d49007ee0629&chksm=fae6e67ccd916f6a0925038d183a4c66c9640e93b685cc0707d2a0c7e8022d870df44d348907&token=921359287&lang=zh_CN#rd)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”

工商銀行打造線上診斷平臺的探索與實踐

相關文章