![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/43a4389a8f2d4ecc909f361551b42d1e.png)

作者 | sparrow
來源 | [阿里巴巴雲原生公眾號](https://mp.weixin.qq.com/s/RlPmNYz13wQHoM5C4Xrmaw)

專案最初使用 Arthas 主要有兩個目的：

1. 透過 arthas 解決實現測試環境、效能測試環境以及生產環境效能問題分析工具的問題。
1. 透過使用 jad、mc、redefine 功能組合實現生產環境部分節點程式碼熱更新的能力。

# 技術選型相關
因為公司還未能建立起較為統一的生產微服務配置以及狀態管理的能力，各自系統的研發運維較為獨立。現在專案使用了 Spring Cloud 以及 Eureka 的框架結構，和 SBA 的基礎支撐能力較為匹配，同時，SBA 已經可以提供服務感知，日誌級別配置管理，以及基於 actuator 的 JVM、Spring 容器的眾多管理外掛，可以滿足基礎使用的需求。

在調研期間，Arthas 整體版本為 3.4.5，提供了基於 Webconsole 的 Tunner Server 模式，透過前面連結文章已經實踐，與SBA已經可以實現整合。因為專案本身沒有歷史包袱，在實際整合的過程中採用了 SBA 2.0 版本以提供更多的管理功能和圖形介面能力。其他優點：

- web console 介面嵌入 SBA 整體密碼登入和網頁許可權管理，實現登陸 SBA 後才可以使用相關 arthas web console 的功能。

- 基於SBA 客戶端依賴的 jolokia-core 開放目標服務程式的 jmx 管理，透過實現 jmx 介面複用 SBA 的相關操作介面，減少前端介面開發能力的要求。

# 整體結構
![1.png](https://ucc.alicdn.com/pic/developer-ecology/64a8fee2eeb241f4ab0d4e565b2146a8.png)

幾個關鍵點，使用 JVM 內建 Arthas Spring Boot 外掛，參考工商銀行的模式建立完善的客戶端下載以及修改指令碼實現遠端控制。內建方案工作開發量小，只需要整合相關的開源元件即可實現相關的遠端使用的模式併兼顧安全。工銀的方案大而全適合整體架構規劃後配置專有研發團隊之城。內建方案同時包含透過 JMX 的啟停操作（基於 3.4.5 的 Spring Boot 外掛無法獲得相關控制程式碼，暫時無法實現），預設不啟動。透過遠端 JMX 開通後，JVM 新增相關執行緒 8 個，新增虛擬機器記憶體 30MB 左右，和本文參考的 SBA1.0 方案相同，需要考慮線上開啟前 JVM 記憶體是否可以支援。

# 實現效果
SBA 2.0 最大的方便就是提供了配置化連結外部網頁的能力，同時如果網頁實現在當前 JVM 程式，可以實現 Spring-Security 的本地許可權管理，在生產環境下只有在登入 SBA 後才能使用相關整合的 arthas 功能。

- 登入介面

![2.png](https://ucc.alicdn.com/pic/developer-ecology/eefdb47b1f84483a9d82687d677abe75.png)

- 外嵌連線位置

![3.png](https://ucc.alicdn.com/pic/developer-ecology/c3713b72724647a88097c44e8585df8a.png)

- JMX 的使用

![4.png](https://ucc.alicdn.com/pic/developer-ecology/d7b79ee8e5024897a27952243a5658bf.png)

![5.png](https://ucc.alicdn.com/pic/developer-ecology/741f774cf5d341ebafa713510ef4a560.png)

- 跳轉 arthas web console

![6.png](https://ucc.alicdn.com/pic/developer-ecology/9d13288aab5b4ebaa5f3608fc9cb634d.png)

# 改造方案
參考原文 -[SpringBoot Admin 整合 Arthas 實踐](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247500442&idx=2&sn=39118e58718b2434d605d968d8c9dceb&chksm=fae6c955cd91404319ab47d7641ec57ec24ef2091fb6be3829a0ece8a5f3612d91449e001e13&scene=21#wechat_redirect)中實現的幾個步驟。

## 1. 整體工程結構

![7.png](https://ucc.alicdn.com/pic/developer-ecology/0195995357274a99898cf9e2ebb0f432.png)

整體工程修改自 SBA 開源專案的 example 工程，具體使用 custom-ui 的工程連結為：[_[spring-boot-admin-sample-custom-ui]_](https://github.com/codecentric/spring-boot-admin/tree/master/spring-boot-admin-samples/spring-boot-admin-sample-custom-ui)_，_紅色框的部分是 arthas web console 的全部靜態檔案，透過 Maven Resource 的指定配置打入指定目錄，實現 SBA 啟動時的自定義載入。maven resource 配置--下：

```
<resource>
                <directory>static</directory>
                <targetpath>${project.build.directory}/classes/META-INF/spring-boot-admin-server-ui/extensions/arthas
                </targetpath>
                <filtering>false</filtering>
            </resource>
```

最終構建的 jar 中 META-INFO 中包含相關的檔案即可在 SBA 自帶的 tomcat 啟動後載入到相關的靜態資源，最後的 url 和自定義實現的 arthas console 配置的外部 URL 對應即可。

## 2. 外部連結配置
SBA 2.0 開始已經使用 vue 全家桶了，擴充套件整合均比較方便。其中，官方文件給出了外嵌連線的配置方式：[_[Linking / Embedding External Pages]_](https://codecentric.github.io/spring-boot-admin/2.3.1/#customizing-external-views)_。_

參考 sba example 工程的 application.yml 配置即可：

```
# tag::customization-external-views[]
    spring:
      boot:
        admin:
          ui:
            external-views:
              - label: "Arthas Console"
                url: http://21.129.49.153:8080/
                order: 1900
    # end::customization-external-views[]
```

## 3. 對應 Spring MVC controller 實現
參考引用原實現的 SBA 整合部分，該部分主要修改實現如下功能：

- 實現 tunnel server 已經載入例項列表的重新整理並展示到前段 AgentID 框供選擇點選連結。
- 實現自定義 IP 地址的重新整理（解決生產環境雙生產 IP 和運維段 IP 不一致的問題）。

## 4. Arthas Spring Boot 外掛修改和配置
參考引用原實現的 SBA 整合中外掛修改以及客戶端配置 application.yml。

對原版 Spring boot 外掛修改主要在於原有外掛是透過 Spring的@ConditionalOnMissingBean 實現自動載入。

修改主要是透過修改這部分實現透過配置檔案預設不啟動，然後使用時透過遠端啟動相關 agent 執行緒。

## 5. 基於 Spring Actuator 的 JMX 實現
SBA client 在 maven 引入中會預設引入 jolokia-core.jar，如果沒有因為 SBA client 依賴可以自行引入該包，可以實現透過 actuator 開放基於 http 的 jmx 操作能力和 SBA 控制檯的相關功能無縫配合。

application.yml 中開放 management 相關配置，根據自身環境情況，也可以開在客戶端側開啟 Spring security 認證，SBA 也可以很好的支援透過服務發現實現密碼保護 actuator 端點的訪問。

```
#放開management
    management:
      endpoints:
        web:
          exposure:
            # 這裡用* 代表暴露所有端點只是為了觀察效果，實際中按照需進行端點暴露
            include: "*"
            exclude: env
      endpoint:
        health:
          # 詳細資訊顯示給所有使用者。
          show-details: ALWAYS
      health:
        status:
          http-mapping:
            # 自定義健康檢查返回狀態碼對應的 http 狀態碼
            FATAL:  503
```

JMX 實現參考原文中 EnvironmentChangeListener 的實現思路，基於 Spring 的 JMX 註解實現即可。

```
@Component
   @ManagedResource(objectName = "com.ArthasAgentManageMbean:name=ArthasMbean", description = "Arthas遠端管理Mbean")
   public class ArthasMbeanImpl {
   
       @Autowired
       private Map<string string=""> arthasConfigMap;
   
       @Autowired
       private ArthasProperties arthasProperties;
   
       @Autowired
       private ApplicationContext applicationContext;
   
       /**
        * 初始化
        *
        * @return
        */
       private ArthasAgent arthasAgentInit() {
           arthasConfigMap = StringUtils.removeDashKey(arthasConfigMap);
           // 給配置全加上字首
           Map<string string=""> mapWithPrefix = new HashMap<string string="">(arthasConfigMap.size());
           for (Map.Entry<string string=""> entry : arthasConfigMap.entrySet()) {
               mapWithPrefix.put("arthas." + entry.getKey(), entry.getValue());
           }
           final ArthasAgent arthasAgent = new ArthasAgent(mapWithPrefix, arthasProperties.getHome(),
                   arthasProperties.isSlientInit(), null);
           arthasAgent.init();
           return arthasAgent;
       }
   
       @ManagedOperation(description = "獲取配置Arthas Tunnel Server地址")
       public String getArthasTunnelServerUrl() {
           return arthasProperties.getTunnelServer();
       }
   
       @ManagedOperation(description = "設定Arthas Tunnel Server地址，重新attach後生效")
       @ManagedOperationParameter(name = "tunnelServer", description = "example:ws://127.0.0.1:7777/ws")
       public Boolean setArthasTunnelServerUrl(String tunnelServer) {
           if (tunnelServer == null || tunnelServer.trim().equals("") || tunnelServer.indexOf("ws://") < 0) {
               return false;
           }
           arthasProperties.setTunnelServer(tunnelServer);
           return true;
       }
   
       @ManagedOperation(description = "獲取AgentID")
       public String getAgentId() {
           return arthasProperties.getAgentId();
       }
   
       @ManagedOperation(description = "獲取應用名稱")
       public String getAppName() {
           return arthasProperties.getAppName();
       }
   
       @ManagedOperation(description = "獲取ArthasConfigMap")
       public HashMap<string string=""> getArthasConfigMap() {
           return (HashMap) arthasConfigMap;
       }
   
       @ManagedOperation(description = "返回是否已經載入Arthas agent")
       public Boolean isArthasAttched() {
           DefaultListableBeanFactory defaultListableBeanFactory = (DefaultListableBeanFactory) applicationContext.getAutowireCapableBeanFactory();
           String bean = "arthasAgent";
           if (defaultListableBeanFactory.containsBean(bean)) {
               return true;
           }
           return false;
       }
   
       @ManagedOperation(description = "啟動Arthas agent")
       public Boolean startArthasAgent() {
           DefaultListableBeanFactory defaultListableBeanFactory = (DefaultListableBeanFactory) applicationContext.getAutowireCapableBeanFactory();
           String bean = "arthasAgent";
           if (defaultListableBeanFactory.containsBean(bean)) {
               ((ArthasAgent) defaultListableBeanFactory.getBean(bean)).init();
               return true;
           }
           defaultListableBeanFactory.registerSingleton(bean, arthasAgentInit());
           return true;
       }
   
       @ManagedOperation(description = "關閉Arthas agent，暫未實現")
       public Boolean stopArthasAgent() {
           // TODO 無法獲取自定義tmp資料夾載入的classLoader，因此無法獲取到com.taobao.arthas.core.server.ArthasBootstrap類並呼叫destroy方法
           DefaultListableBeanFactory defaultListableBeanFactory = (DefaultListableBeanFactory) applicationContext.getAutowireCapableBeanFactory();
           String bean = "arthasAgent";
           if (defaultListableBeanFactory.containsBean(bean)) {
               defaultListableBeanFactory.destroySingleton(bean);
               return true;
           } else {
               return false;
           }
       }
   }
```

# 實際使用
管理工程投產後，多次在生產環境用於問題排查和程式碼熱修復。效能問題主要用於效能流控元件以及灰度釋出相關配置引數的線上驗證和 debug。

程式碼熱載入相關初期透過 jad+mc 的方式進行操作，後續發現 jad 在部分程式碼上因環境配置以及 jvm 問題產生反編譯程式碼不一致的情況，後續透過 maven 打包部署應用程式 source 壓縮包的方式解決，直接使用和應用 jar 同版本構建的 source 進行修改更加可靠。整體方案在管理較為嚴格的生產環境提供了有效的效能分析以及熱修復的能力。

# 遺留問題
現有官方提供的 com.taobao.arthas.agent.attach.ArthasAgent 中啟動 arthas agent 的客戶端使用的 arthasClassLoader 和 bootstrapClass 均為方法內的臨時變數，外部無法獲取相關控制程式碼實現透過 bootstrapClass 關閉 arthas agent 的功能；臨時解決方案為透過 JMX 啟動後，在 web console 連線使用後，使用 stop 命令實現目標程式中 arthas agent 的關閉。

現有位元組碼載入工具可以很好的實現內部類，私有類的線上熱部署替換，同時經測試可以相容 SkyWalk8.x 版本的 javaagent 外掛，但是在測試環境因為配置有 jacoco 覆蓋度採集外掛與 Arthas 位元組碼產生了不相容的情況，在部分環境使用時需要先關閉對應的 agent 後才能正常使用 arthas 的相關功能。</string></string></string></string></string>

SpringBoot Admin2.0 整合 Java 診斷神器 Arthas 實踐

相關文章