![](https://img-blog.csdnimg.cn/6804a563700343489fcc943703868d77.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

作者 ｜ 劉浩楊
來源｜[爾達 Erda 公眾號](https://mp.weixin.qq.com/s/092r_s1IAivileliUybqzw)

APM 的全稱是 Application Performance Management（應用效能管理），早在 90 年代中期就有廠商提出效能管理的概念，到現在 APM 領域已經發展了近 25 年。

通常而言，APM 的技術已經發展了 3 個階段，在這裡我們可以透過前藍海訊通（OneAPM）創始人何曉陽在 2014 年分享的《APM 應用效能管理的過去二十年》來回顧一下 APM 的發展歷史。

1995 年到 2000 年，正是第一代網際網路浪潮興起的年代。當時，雅虎作為網際網路公司的代表，引領一代潮流，美國人忙著鋪光纖架網線，一個一個的站點被建立了起來。如果說網站的響應速度決定了使用者體驗的話，那麼當時的網速就決定了網站的響應速度，因此，APM 1.0 時代的軟體功能就是這麼簡單：管理網路系統的效能。

時間發展到 2000 年，看過《浪潮之巔》這本書的讀者應該會對那個時代有一些印象，當時的 SUN 正處於巔峰時期，市值接近 2000 億美元，這些公司當時正在瘋狂的建設資料中心，購買各種各樣的硬體和軟體。在這裡，我們用一個專業名詞來稱呼他們，叫做基礎元件（Infrastructure）。那麼，當時的 APM 系統已經到了第二代，作用是監控和管理各種基礎元件的效能。

2005 年以後，隨著 Facebook，Twitter 這些應用提供商的興起，越來越多的 APP 被用來服務全球客戶；對於使用者來說，他們訪問的應用服務可能分散式 的部署在全球的多個資料中心上，尤其是 2010 年以後，新的移動訪問方式的興起，讓每一個人的生活方式更加緊密的依賴於各種 Application。在這個時候，應用本身的效能越來越成為制約使用者體驗提升的瓶頸。這就是第三代 APM 軟體的用武之地：第一是管理真實使用者的體驗，第二是進行端到端的業務交易效能分析。

可以看到，在過去很長一段時間，APM 的重心一直在關注使用者體驗效能和應用程式效能，隨著近年來雲端計算的興起，和雲原生所倡導的新正規化，給傳統的研發和運維模式帶來了新的挑戰：微服務、DevOps 等理念讓研發變得更高效，但帶來的卻是海量微服務的問題排查、故障定位的難度變得更大；容器化、Kubernetes 等容器編排技術的逐漸成熟讓規模化軟體交付變得容易，但帶來的挑戰是如何更精準地評估容量、排程資源，確保成本與穩定性的最好平衡。

### 監控到可觀察性

Apple 的工程師 Cindy Sridharan 的博文“監控與觀察”（Monitoring and Oberservability）首次將 Oberservability 一詞帶入開發者的視野。然而，在谷歌，其著名的 SRE 體系在此之前就已經奠定了可觀察性的理論基礎，也就是說在微服務、可觀測性等概念或者出現以前，前輩們將這套理論稱為監控，其中 Google SRE 特別強調白盒監控的重要性，而將當時技術圈常用的黑盒監控放在了相對次要的位置。而白盒監控正是應和了可觀察性中“主動”的概念。

這裡引用一下 Baron SchSchwarz 大咖的一個定義：“監控告訴我們系統的哪些部分是不工作的。可觀察性告訴我們那裡為什麼不工作了。”

由此可見，可觀察性是雲原生系統中提供穩定性和效能監控、診斷分析的一套理念。和監控相比，可觀察性從單一的度量擴充套件為 Metrics、Tracing、Logging 三大支柱：

![03.png](https://img-blog.csdnimg.cn/img_convert/447ceedce3e91a6579c837b0155c2264.png#height=284&id=ZnTiP&margin=[object Object]&name=03.png&originHeight=400&originWidth=676&originalType=binary&ratio=1&size=87606&status=done&style=none&width=480)

- Logging，展現的是應用執行而產生的事件或者程式在執行的過程中間產生的一些日誌，可以詳細解釋系統的執行狀態，但是儲存和查詢需要消耗大量的資源。所以往往使用過濾器減少資料量。
- Metrics，是一種聚合數值，儲存空間很小，可以觀察系統的狀態和趨勢，但對於問題定位缺乏細節展示。這個時候使用等高線指標等多維資料結構來增強對於細節的表現力。例如統計一個服務的 TBS 的正確率、成功率、流量等，這是常見的針對單個指標或者某一個資料庫的。
- Tracing，面向的是請求，可以輕鬆分析出請求中異常點，但與 logging 有相同的問題就是資源消耗較大。通常也需要透過取樣的方式減少資料量。比如一次請求的範圍，也就是從瀏覽器或者手機端發起的任何一次呼叫，一個流程化的東西，我們需要軌跡去追蹤。

### Erda 微服務觀測平臺

在上文中我們提到，可觀察性提供了一套理念來監控、診斷雲原生應用系統。因此，CNCF 發起了 OpenTelemetry 專案，希望藉此統一可觀察性三種資料的標準規範和統一的採集實現。但在現實世界中，我們更關心的是採集的資料如何被儲存和使用。由此，Erda MSP（MicroService Platform）中的應用監控子系統也在逐漸演進為以“可觀察性分析診斷_”_為核心的微服務觀測平臺。

![可觀測性分析平臺.jpg](https://img-blog.csdnimg.cn/img_convert/b97667afd520ed5757557b118da91f18.png#height=418&id=zzJDf&margin=[object Object]&name=可觀測性分析平臺.jpg&originHeight=795&originWidth=912&originalType=binary&ratio=1&size=51638&status=done&style=none&width=480)

- 觀測：觀察服務自身的執行狀態和監控指標。
- 分析：對觀察資料進行關聯、統計、加工等。
- 診斷：基於觀察資料的分析結果，描述出系統異常的直接原因。

Erda MSP 當前覆蓋從基礎設施、業務系統、到端應用的數百種指標和狀態採集：

![image.png](https://img-blog.csdnimg.cn/img_convert/9af157759a461cbaca9ca74c65eaecf2.png#height=423&id=QVNj7&margin=[object Object]&name=image.png&originHeight=846&originWidth=1784&originalType=binary&ratio=1&size=580655&status=done&style=none&width=892)
#### 
#### 內建觀測檢視

我們也根據監控運維常見的場景和指標，在 Erda 中提供了預設的觀測檢視：

![](https://img-blog.csdnimg.cn/797642a0c858468aaa527144825466c6.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

多雲叢集狀態和資源使用率觀測

![](https://img-blog.csdnimg.cn/053339e121094983ad0e979665891f78.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

叢集節點指標觀測

![](https://img-blog.csdnimg.cn/17e133fe131640dbb732fbad02df6102.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

服務請求和延遲觀測
#### 慢/錯誤事務分析

針對於業務系統的慢請求和錯誤請求，我們整合了 log、trace 和 metric 的關聯，讓使用者可以在很容易的定位到請求的異常上下文資訊：

![](https://img-blog.csdnimg.cn/64dfadd6595b4b76b8b86849b8534bcf.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

錯誤請求檢索

![](https://img-blog.csdnimg.cn/a507cb2980aa44e89b345ab06a752464.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)
錯誤請求和慢請求 Top
__

![](https://img-blog.csdnimg.cn/48122f07276642a3bc5d50351d8fb31e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

慢請求和錯誤請求下鑽分析

![](https://img-blog.csdnimg.cn/8661ea58a6024c80a397f0c493326973.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

exception 分析

![](https://img-blog.csdnimg.cn/dd078a92ff9c43b5978fa4c09bd93d1c.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

exception 下鑽關聯到 trace 和 log
#### 自定義分析

Erda MSP 支援使用自定義 Dashboard 定製使用者自己的分析場景，Dashboard 詳細使用參考：[《上手後才知道，這套儀表盤系統用起來是真的爽！》](http://mp.weixin.qq.com/s?__biz=Mzg2MDYzNTAxMw==&mid=2247485052&idx=1&sn=af12b930227bb8b0871816d4151c0bd2&chksm=ce222c96f955a5804ce3a9b032e030d4335ecb7ba7b21aa5fdb193e16344e72bd0c7b8725577&scene=21#wechat_redirect)。

![](https://img-blog.csdnimg.cn/95b45e906be14baf8d81825b20fdd3f9.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

#### 日誌分析

對日誌資料的處理，Erda 支援全文檢索和結構化標籤檢索兩種方式，並且實現一鍵關聯日誌和呼叫鏈路的分析能力。

![](https://img-blog.csdnimg.cn/fa9e0b896fc2482fb00e23d0b74547e9.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCU6L6-IEVyZGE=,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

日誌關聯鏈路追蹤分析
### 寫在最後

**Erda 作為開源的一站式雲原生 PaaS 平臺，具備 DevOps、微服務觀測治理、多雲管理以及快資料治理等平臺級能力**。點選下方連結即可參與開源，和眾多開發者一起探討、交流，共建開源社群。歡迎大家關注、貢獻程式碼和 Star！

- **Erda Github 地址：**[_https://github.com/erda-project/erda_](https://github.com/erda-project/erda)
- **Erda Cloud 官網：**[_https://www.erda.cloud/_](https://www.erda.cloud/)

## 參考資料

- [《觀察之道：帶你走進可觀察性》](https://www.infoq.cn/article/observability-enhance)
- [《萬字破解雲原生可觀測性》](https://zhuanlan.zhihu.com/p/137672436)

雲原生時代的 APM

相關文章