*作者：井軼*

## 概述

可觀測性一詞來源於控制理論，是指系統可以由其外部輸出推斷其其內部狀態的程度，隨著 IT 行業幾十年的發展，IT 系統的監控、告警、問題排查等領域的逐漸成熟，IT 行業也將其抽象形成了一整套可觀測性工程體系。目前可觀測性已不僅僅是一種具體的工具或者技術，它更偏向是一種理念，已成為複雜分散式系統成功管理的關鍵組成部分，並對系統在執行時提供對其理解、探查以及排程的能力。

雲原生閘道器是阿里雲微服務引擎(MSE)下的一款託管型別閘道器產品，其將傳統的流量閘道器與微服務閘道器進行了整合，本文將講述如何基於雲原生閘道器去搭建閘道器場景的可觀測性體系。

## 閘道器場景可觀測性建設的難點

閘道器作為業務流量的入口，其可觀測性建設與整體業務的穩定性/息息相關，同時由於閘道器的使用者使用場景與功能較多，且網路環境也較為複雜，這對閘道器可觀測性建設也帶來了很多的難點。下面就針對其中的主要難點分別加以說明。

### 關注閘道器可觀測性的角色眾多

可觀測性的核心在於 透過觀測資料、滿足不同角色、對於系統狀態的理解需求，閘道器作為流量入口，業務，研發，SRE 等角色都會關注閘道器的狀態，需要在深入理解不同角色需求的前提下才能夠完善閘道器的可觀測性體系。如下圖，簡單描述了整體可觀測資料簡單的生命週期，觀測資料透過 App 生成，經過中間處理環節後進行儲存，然後提供查詢服務。觀測資料服務於不同型別的人群，如產品的使用者、業務、研發、SRE，不同的人群透過不同的形態來使用這些資料。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/28f4dccd8ab146efa5244ca8d81c9a85~tplv-k3u1fbpfcp-zoom-1.image "1.png")

可觀測性的基本生命週期

### 埋點不夠精確，統計消耗大

**點位不夠準**。埋點不難，難的是如何判斷哪些資料是符合使用場景的。這就需要設計者有豐富的從業經驗，或者在上線的過程中，不斷迭代打磨。

**統計採集代價高**。可觀測性的實現，很多時候往往是時間、空間、顆粒度三者之間的權衡。統計的時間粒度太密會造成儲存容量的膨脹，統計的時間粒度太粗則不利於定位問題。這都為可觀測性的實現帶來了難題。

### 網路環境複雜,  問題排查難度大

在流量閘道器場景下，由於公網網路環境複雜，閘道器流量巨大，偶發問題排查難度巨大。

## 雲原生閘道器可觀測性實踐

當前業界在可觀測效能力建設方面通用的三大支柱：日誌事件（Logging），分散式鏈路追蹤（Tracing）以及指標監控（Metrics）。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a22cfd475e5a486784e3a63a48e492cf~tplv-k3u1fbpfcp-zoom-1.image "2.png")

-   指標(Metrics)，是一段時間內記錄的各個維度的量化資訊，用來觀察系統的某些狀態和趨勢 
-   日誌(Logs)，是對程式執行過程中產生的一些離散事件的記錄 
-   鏈路追蹤(Traces)，是對一次請求從接收到處理完畢整個生命週期內的呼叫鏈路的記錄

雲原生閘道器基於此三大支柱建設了雲原生閘道器基礎的可觀測效能力。

### 確定閘道器核心指標，構建可觀測性基礎

核心指標即能準確描述系統內部執行狀況的指標，在雲原生閘道器場景，核心指標即為 qps，rt，成功率等能夠準確描述閘道器此時執行狀況的指標。雲原生閘道器同時整合了 prometheus 與 sls，使用者既可以透過閘道器的訪問日誌的 etl 處理獲取更加精細準確的資料，也可以透過 prometheus 獲取閘道器的實時監控。

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/77ee07e31bdf4cf096a3a16d073a1bb9~tplv-k3u1fbpfcp-zoom-1.image "3.png")

基於訪問日誌進行 etl 處理後的儀表盤

針對統計採集消耗大的問題，雲原生閘道器將部分採集消耗大的指標使用 etl 處理訪問日誌來減少採集消耗，將更需要實時性的統計指標採用程式內埋點的方式來保證實時性。

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/380fb9a273c4480083e63dd030ea3529~tplv-k3u1fbpfcp-zoom-1.image "4.png")

雲原生閘道器的 Grafana大盤

針對不同角色對閘道器可觀測性的不同需求，雲原生閘道器提供了不同維度的資料表現，對於需要進一步精細分析的企業使用者，也可以透過 sls 進一步進行資料加工。

### 劃分系統邊界，快速定位問題

閘道器通常請求量龐大，同時在微服務場景下，呼叫鏈路錯綜複雜，在這樣的條件下想確認某一條請求的失敗原因是一件困難的事情，針對這一場景，雲原生閘道器對接了開箱即用的 ARMS 分散式鏈路追蹤服務，同時也支援將 trace 資料投遞到使用者自建的 skywalking，避免雲產品鎖定。

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/131f319931c941f7922cc44649e4b2b7~tplv-k3u1fbpfcp-zoom-1.image "5.png")

對於未接入鏈路追蹤的使用者，雲原生閘道器提供日誌明細的詳細解釋，將請求失敗的原因視覺化為具體的圖表，幫助使用者確認問題邊界，減少問題排查時的時間。

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1fecaa7478074c448e1998b90db87f57~tplv-k3u1fbpfcp-zoom-1.image "6.png")

失敗請求錯誤原因明細

### 風險管理定時巡查風險

雲原生閘道器綜合使用者例項，規格，效能等資料，會給出目前例項存在的風險，並給出改善建議，極大程度上提高了允原生閘道器例項維護的自動化程度，降低客戶使用成本。

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bbe3730a1fe440fc887f58557808eeba~tplv-k3u1fbpfcp-zoom-1.image "7.png")

風險管理的自動風險篩查

## 對雲原生閘道器可觀測性的未來規劃

目前雲原生閘道器構建了基本的可觀測性體系，數視覺化、監控等能力已經都相對完善。

使用者可以基於目前的可觀測體系來快速發現,定位問題。

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2bbb770f0a5a4a5c862a0a4fbc6978b4~tplv-k3u1fbpfcp-zoom-1.image "8.png")

配合業界的發展方向，接下來雲原生閘道器在可觀測領域主要有如下規劃：

-   就可觀測性的三大資料支柱來說，為了解決部署上的跨平臺方案冗雜以及資料不互通問題，Metrics、Logs、Traces 大一統的可觀測性採集框架發展是大勢所趨，支援 opentelemetry 等統一的可觀測性框架是接下來的首要工作

-   在根因分析方面我們也在關注行業最先進演算法的動態，持續的探索進行智慧根因分析的實踐。

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a3cc1f3f2c9c44e6a127073462ae4f7d~tplv-k3u1fbpfcp-zoom-1.image "9.png")

雲原生閘道器的可觀測性體系實踐

相關文章