*作者：* *嶼山*

現實系統往往有著較高的複雜度，我們藉助 Trace、Log、Metric 三駕馬車使我們的系統具備了一定的可觀測性，但觀測位置和資訊往往是固定的，而我們所遇到的問題常常是意料之外的，這就導致我們能夠定位問題的範圍，但是難以更進一步，這時候我們就需要在我們想要的位置採集資訊來幫助我們，在通常的實踐中這就意味著我們需要新增日誌邏輯並重啟應用，這種做法成本較高而且會丟失現場。而藉助日誌治理，只需要透過在控制檯配置規則便可以在不重啟應用的前提下，動態採集任意點位資訊。接下來透過一個假想的排查流程來簡單介紹下日誌治理的實踐。

## 動態日誌列印

假設我們有一條如圖所示的簡單的請求資料庫的請求呼叫鏈路，當該呼叫鏈路的請求出現了異常，在定位問題的過程中，我們往往會需要知道呼叫的堆疊資訊，進而去排查堆疊上的方法，獲取這些方法的引數、返回值、異常等資訊，從而幫助我們查清問題的原因。藉助日誌治理的能力，我們可以很方便地進行這些操作。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/eb7b27cdaf5c47f08625a6ea75cd21c4~tplv-k3u1fbpfcp-zoom-1.image "1.png")

在這個場景下，當發現 AppB 的/sql 請求部分報錯，但我們並沒有預先編寫能夠記錄有效資訊的日誌，這時我們就可以透過配置一條日誌治理的規則來列印現場的堆疊資訊，以獲取我們需要排查的方法列表，再進一步對逐個方法進行分析。我們選擇/sql 作為 Target，如果不知道具體的介面，也可以保持預設選擇全部。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d2c4f534d24d4323833732764654d150~tplv-k3u1fbpfcp-zoom-1.image "2.png")

由於我們只需要分析錯誤的請求，所以在過濾規則條件中開啟異常過濾，在列印內容中選中呼叫堆疊，其他的內容可以根據需要選擇。

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/af4fca0bcd6340d4a2d2518e94bbf0db~tplv-k3u1fbpfcp-zoom-1.image "3.png")

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/57e46ae73d4844a7901d72b61f466bd4~tplv-k3u1fbpfcp-zoom-1.image "4.png")

開啟該規則後，可以看到系統幫助我們在日誌檔案中列印了包含堆疊資訊的日誌：

> /home/admin/.opt/ArmsAgent/logs/mse-log-governance.log

```
at com.mysql.cj.jdbc.ClientPreparedStatement.executeQuery(ClientPreparedStatement.java:989)
  at com.alibaba.druid.pool.DruidPooledPreparedStatement.executeQuery(DruidPooledPreparedStatement.java:213)
  at com.alibabacloud.mse.demo.service.DruidCon.doCommond(DruidCon.java:57)
  at com.alibabacloud.mse.demo.service.DruidService.query(DruidService.java:15)
  at com.alibabacloud.mse.demo.BApplication$AController.sql(BApplication.java:89)
  at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
  at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
```

擷取其中一部分可以發現其中有一部分是我們自身的業務邏輯方法，也是我們需要關注的方法，我們可以繼續借助日誌治理的能力，去獲取這些方法的現場資訊，比如引數、返回值、類載入器等等。

> 自身業務邏輯方法：  
> com.alibabacloud.mse.demo.service.DruidCon.doCommondcom.alibabacloud.mse.demo.service.DruidService.query

以 doCommond 方法為例，我們只需要增加一條新的規則，指定該自定義方法。

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/00c3ff9af7f941a7b21b654cf159239c~tplv-k3u1fbpfcp-zoom-1.image "7.png")

隨後在過濾規則條件中開啟異常過濾，在列印內容中選中請求引數，其他的內容可以根據需要選擇。

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5aa081c8303c44179b5d9412722eed89~tplv-k3u1fbpfcp-zoom-1.image "8.png")

開啟該規則後，可以看到系統幫助我們在列印了 JSON 格式的日誌資訊，包含了我們所勾選的引數資訊：

>  /home/admin/.opt/ArmsAgent/logs/mse-log-governance.log

```
{
  "appName": "app-b",
  "attributes": {
    "mse.tag": "base",
    "mse.param": "{"sql":"select * from log_demo where id = ?","id":"1"}",
    "mse.app.tag": "base",
    "mse.service.type": "CUSTOM"
  },
  "endTime": 1665974434728,
  "events": {},
  "ip": "10.0.0.166",
  "name": "com.alibabacloud.mse.demo.service.DruidCon:doCommond(java.lang.String,int)",
  "needRecord": true,
  "parentId": -4669550334584716586,
  "ruleIdSet": [
    288
  ],
  "spanId": -8047278153886744300,
  "startTime": 1665974434725,
  "statusCode": 2,
  "traceId": "ea1a00009d16659744347231724d0001"
}
```

以上只是簡單的例子，但是能夠由此發現，日誌治理的能力能夠讓我們在 Java 方法任意點位收集資訊，將排查工作變成零程式碼且動態的，由於不需要在測試環境中重複增加日誌程式碼並不斷重啟應用，能夠大大減小某些難以在測試環境中復現的問題的排查難度。

## 日誌採集

在啟用了日誌治理功能之後，我們的日誌會被自動滾動儲存至本地，為了滿足儲存或是進一步分析的需求，我們可以將這些日誌採集到日誌服務系統中。這裡以 SLS 的 Logtail 採集方式為例。

### 配置 Logtail 採集日誌

在透過元件或是其他方式在我們的叢集或是例項中安裝了 Logtail 之後，可以透過日誌服務 SLS 控制檯來完成日誌採集的配置，這部分內容可以詳見 SLS 日誌服務的相關文件。我們只關注其中的一些配置，首先是 Logtail 配置，在 K8s 叢集場景下，我們所需要的配置如下：

-   日誌路徑為：/home/admin/.opt/ArmsAgent/logs/mse-log-governance.log

> 使用 OneAgent 時，日誌路徑為：
> 
> /home/admin/.opt/ArmsAgent/plugins/ArmsAgent/logs/mse-log-governance.log

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e8161fba07214fca8d4f51f3db2da21d~tplv-k3u1fbpfcp-zoom-1.image "9.png")

-   開啟是否為 Docker 檔案的開關
-   開啟是否部署於 K8s 的開關
-   模式選擇 JSON 模式

其次是查詢分析配置，在控制檯配置流程中，我們可以選擇自動生成索引或是後續在 SLS 控制檯中自行增加索引，為了方便我們的分析，statusCode、ruleIdSet、name、appName 等欄位建議增加索引。

### 檢視日誌

稍等片刻後便可以在 SLS 控制檯檢視收集的日誌，並藉助查詢分析功能處理日誌。

![10.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0a24531f2a294208ad8261d7cf19032e~tplv-k3u1fbpfcp-zoom-1.image "10.png")

## 小結

藉助日誌治理的現有能力，我們能夠在不重啟應用的前提下，動態採集任意點位資訊，同時由於日誌治理在採集資訊時會引入鏈路資訊，在分析複雜呼叫問題時能夠起到很好的效果。目前日誌治理採集的資訊會以 JSON 格式的形式滾動儲存在本地，我們可以藉助 SLS 這類日誌服務系統提供的採集方法採集並進行進一步的查詢和分析，後續日誌治理也會不斷完善最佳化，採集的資訊組織完全相容 OpenTelemetry 標準，並進一步提供完善的符合標準的上報方式。

**MSE 雲原生閘道器預付費、MSE 註冊配置預付費首購 8 折，首購 1 年及以上 7 折**。點選[此處](https://www.aliyun.com/product/aliware/mse)，即享優惠！

無需重啟應用，動態採集任意點位日誌

相關文章