*作者：陳陳*

## 日誌在可觀測場景下的應用

隨著 IT 架構改變與雲原生技術實踐，融入開發與業務部門視角，運維團隊具備比原有監控更廣泛、更主動的可觀測能力。日誌作為可觀測三支柱（Tracing、Metrics、Logs）之一，幫助運維團隊追蹤程式執行狀態、定位故障根因、還原故障現場。以故障發現和故障定位為目的使用日誌場景可大致分為日誌搜尋和日誌分析兩類：

1. 日誌搜尋：

-   透過日誌關鍵字搜尋日誌；
-   透過執行緒名、類名搜尋日誌；
-   結合 Trace 上下文資訊，衍生出根據 TraceID、根據 spanName、parentSpanName、serviceName、parentServiceName 搜尋日誌。

2. 日誌分析：

-   檢視、分析指定日誌數量的趨勢；
-   根據日誌內容生成指標（比如每次交易成功列印一條日誌，可以生成關於交易額的一個指標）；
-   自動識別日誌模式（比如檢視不同模式的日誌數量的變化，佔比）。

在實際生產中，透過靈活組合以上幾種使用方式，運維團隊可以很好地排除日常觀測、故障定位過程中的干擾因素，更快的定界甚至定位問題根因。

## 常見開源日誌解決方案的不足

常見的日誌解決方案多是利用主機上安裝日誌採集 Agent，透過配置日誌採集路徑的方式將日誌採集到第三方系統儲存、查詢、展示、分析。較為成熟的有 ELK(Elasticsearch、Logstash、Kibana)開源方案，其活躍的社群、簡單的安裝流程、便捷使用方式等優勢吸引了不少使用者。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0ee25c9563894bc9bf34a3f8ab621181~tplv-k3u1fbpfcp-zoom-1.image "1.png")

但 ELK 方案也存在著些許不足：

1. **運維成本高**：搭建一套完整的 ELK 系統需要部署 ES 叢集，kafka 叢集以及 logstash 元件等等，以及隨著日誌規模的增長帶來多叢集拆分、多叢集升級、穩定性等問題，往往需要投入更多人力。

2. **資源開銷大**：ELK 架構中幾乎所有元件的資源開銷都會隨著日誌規模的增長線性增長，佔用極大成本。

3. **企業級能力缺乏**：日誌中往往包含業務關鍵資訊，需要一套完備的多租戶隔離以及細粒度的許可權控制方案，這在開源免費 ELK 架構中是缺乏的。

## 基於 ARMS 的日誌解決方案

相較於 ELK 開源自建方案，是否可以有更輕量、更容易運維的日誌解決方案呢？

目前，應用實時監控服務 ARMS 提供一套簡單易用的日誌解決方案，讓運維團隊可以一鍵整合應用日誌。相較於開源方案，豐富功能性、壓降成本的同時，進一步提升易用性。

### 功能性

#### 1. 自動富化日誌

關聯呼叫鏈上下文包括 TraceID、ServerIP、spanName，parentSpanName，serviceName，parentServiceName。全面滿足根據 TraceID 搜尋日誌、查詢觸發異常日誌列印的上游應用、上游介面等需要將 Tracing 和 Logs 進行關聯分析的可觀測場景。

#### 2. 提供智慧日誌聚類能力

針對規模大、內容雜、且格式也難以做到統一規範的日誌進行彙總、抽象聚類，使運維人員迅速發現異常日誌與正常日誌“類別”上的不同，從而快速定位異常日誌、發現問題。

#### 3. 提供 LiveTail 能力

針對線上日誌進行實時監控分析，毫秒級別延遲上報日誌，最貼近tail -f的日誌檢視體驗，有效減輕運維壓力。

#### 4. 基於 ARMS 的 Arthas 能力，執行時調整 logger 輸出級別

#### 5. 一鍵生成基於日誌的報警、日誌轉指標的能力（內測中 即將上線）。

### 易用性

-   ARMS 控制檯一鍵開通，即可使用日誌相關全套功能；

-   無需安裝額外日誌採集元件，避免應用改造；

-   無需管理運維日誌服務端以及日誌，降低日常運維工作量；

-   支援日誌服務 SLS、及 ARMS 直接採集的日誌。

### 運維成本

-   日誌功能處於公測階段，完全免費；
-   提供靈活可配置的日誌丟棄策略，從源頭上減少大量無效日誌；
-   提供靈活可配置的日誌儲存策略，可根據應用重要程度配置日誌儲存時長。

## ARMS 日誌功能展示 & 場景最佳實踐

### 前置要求

1. 升級到 2.7.1.4 以及更高版本的 Agent（K8s 應用重啟後會升級到 2.7.1.4 版本 agent，非 K8s 應用需要使用者手動下載最新版本 Agent 並掛載）。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/36a1485b3da44fdb94f995073647efea~tplv-k3u1fbpfcp-zoom-1.image "2.png")

2. 在 ARMS 控制檯應用列表頁，點開需要開啟日誌採集功能的應用，點選左側最下方應用設定，點到自定義配置頁，開啟日誌採集開關並根據實際場景配置相應引數，最後點選儲存。

-   對於直接採集的日誌，是透過 ARMS 探針採集日誌框架的輸出並直接推送到 ARMS 的日誌分析中心。

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8d7552962b5e4e7f85ce5a9ab164d15a~tplv-k3u1fbpfcp-zoom-1.image "3.png")

-   如果您需要將應用的日誌採集到日誌服務 SLS，並在 ARMS 應用配置中配置相應的 Project 和 Logstore，ARMS 會內嵌日誌服務的頁面方便您進行日誌分析。

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/049793102fc54af18d0cff92030543dd~tplv-k3u1fbpfcp-zoom-1.image "4.png")

### 功能應用演示

1. 根據 TraceID 搜尋日誌

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1181bbf7a9ad4d6fa3f6ba8325ea27bb~tplv-k3u1fbpfcp-zoom-1.image "5.png")

2. 檢視包含置頂關鍵字的日誌條數變化趨勢

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e3918897e98442b8b5f408713c9b6743~tplv-k3u1fbpfcp-zoom-1.image "6.png")

3. LiveTail

影片

4. 日誌聚類下圖中上方左側是識別出來不同模式的日誌條數變化趨勢，右圖是不同模式日誌選擇時間段內總條數降序排序，下方是不同模式下的日誌原文，可透過在 search 中搜尋不同日誌模式檢視該模式下的日誌原文樣本。

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a310c5912023474f95c1e3dba77c8734~tplv-k3u1fbpfcp-zoom-1.image "8.png")

ARMS 日誌功能更多案例可檢視 ARMS 官方文件：

<https:>

## 最佳實踐

下面簡單介紹兩個阿里雲可觀測團隊在雲服務 SRE 場景下應用使用 ARMS 日誌功能的最佳實踐。

### 案例：指標下跌問題排查

-   **背景**

應用 A 主要負責接收業務應用透過 RPC 上報流量資訊、解析資訊、簡單處理後寫儲存。其中業務的流量資訊包括時間戳、業務應用名、介面名、一分鐘的介面請求量、一分鐘的介面請求總耗時。寫入儲存後，可在控制檯檢視該業務應用的流量監控資訊。某日 某業務應用B反饋擴容後流量監控資訊下跌，隨即開始排查問題。

-   **排查方案**

1. 首先開啟日誌平臺。檢視應用 A 相關日誌。看到較多寫儲存限流異常，統計該異常數量最近3小時趨勢發現無明顯增加，說明該異常態少量出現，無影響，繼續排查。

2. 懷疑應用 A 部分節點  hang 死，導致應用 B 上報資料失敗，隨即檢視應用 A 不同例項日誌輸出量。發現基本均勻，該懷疑排除。

3. 此時，基本排除應用 A 的問題，開始懷疑資料上報異常。由於應用B的流量監控資訊只是下跌並未跌 0，懷疑應用 B 部分節點資料上報異常。透過日誌分析，獲得當前應用 B 當前正常上報資料的 IP 列表，給到使用者，發現應用 B 新擴容機器均未成功上報資料，懷疑新擴容機器網路異常。

4. 透過日誌平臺檢視應用 B 日誌，看到較多網路異常，檢視該異常分佈機器，均分佈在新擴容機器上，與上一步結論吻合。隨即登陸一臺機器，發現到應用 A 的網路確實不通，隨即聯絡網路同學恢復該問題。

-   **場景總結**

透過日誌檢索與日誌分析結合使用，最終定位到問題根因。

### 案例:  日誌儲存成本降低

-   **背景**

應用 C 因為開發人員眾多，日誌列印級別設定不合理，日誌量很大，日誌功能成本開銷很高，急需降本提效。

-   **治理方案**

1. 基於過往日誌排查問題經驗，很少需要檢視一週前日誌。因此，將日誌儲存時長策略縮短，由一個月調整為一週。

2. 透過 ARMS 日誌模式自動識別的功能，檢視當前 top-k 的日誌模式，發現較多模式的日誌屬於無效日誌。設定日誌丟棄策略，將無效的日誌丟棄。

-   **場景總結**

結合儲存時長調整和日誌模式自識別，日誌整體成本降低到以前的十分之一。目前，ARMS 日誌應用功能已全面開放，讓運維團隊快速擁有日誌分析與搜尋能力！

## 應用實時監控服務 ARMS 7 月產品能力動態

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/24f0cb2e5edd43d8b5e02a3b7a22d971~tplv-k3u1fbpfcp-zoom-1.image "9.png")

點選[此處](https://www.aliyun.com/product/arms)，立即免費試用！</https:>

ARMS實踐｜日誌在可觀測場景下的應用

相關文章