![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/54003f32344a4f90874592037be97d35.png)

作者 | 悟鵬
來源 | [阿里巴巴雲原生公眾號](https://mp.weixin.qq.com/s/G2UoyOFHOQbvq39hkrVFDg)

《Kubernetes 穩定性保障手冊》系列文章：

- [Kubernetes 穩定性保障手冊 -- 極簡版](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247501775&idx=1&sn=8b3b27934e7bced10b2a7f81483e3256&chksm=fae6cc00cd9145168b57c579ed488a7f92b67f86daf039de6b9518995d9e1ad27df2a382290e&scene=21#wechat_redirect)
- Kubernetes 穩定性保障手冊 -- 日誌專題
- Kubernetes 穩定性保障手冊 -- 可觀測性專題（本文）

伴隨大家對穩定性重視程度的不斷提升、社群可觀測性專案的火熱，可觀測性成為了一個很熱門的話題，站在不同的角度會產生不同的理解。

我們從軟體開發的生命週期出發，嘗試形成對可觀測性的一個宏觀理解，並從 SRE 和 Serverless 兩個角度具化可觀測性的理解以及實踐。

## 目的

- 增強認知，透過全域性把握來提升競爭力
- 透過合理的設計和實踐，為未來帶來可能性

## 目標

- 針對可觀測性的理解達成一致
- 針對可觀測性的發展方向達成一致

## 什麼是可觀測性？

從 [wikipedia: Observability](https://en.wikipedia.org/wiki/Observability) 可理解到 **可觀測性** 的定義：

> In control theory, observability is a measure of how well internal states of a system can be inferred from knowledge of its external outputs.

Consider a physical system modeled in state-space representation. A system is said to be observable if, for any possible evolution of state and control vectors, the current state can be estimated using only the information from outputs (physically, this generally corresponds to information obtained by sensors). In other words, one can determine the behavior of the entire system from the system's outputs. On the other hand, if the system is not observable, there are state trajectories that are not distinguishable by only measuring the outputs.

簡單表述為，可觀測性是一種方法，透過系統的外部輸出推匯出系統內部的狀態。

下圖簡化了系統的組成和系統間的互動：

![1.png](https://ucc.alicdn.com/pic/developer-ecology/b54d65580a7f4c6e9bbe935c3120ea89.png)

從上述互動圖可瞭解到，系統的互動行為有如下幾種形態：

- 系統內部

- 元件功能閉環，不與其他元件或系統互動
   - 元件之間互動

- 系統之間

- 系統和系統之間進行互動

這樣，透過如下兩種形態的資訊，就可以透過系統的外部輸出瞭解到系統的內部狀態：

- 元件閉環的資訊
- 元件間或系統間流動的資訊

## 可觀測性的問題域是什麼？

可觀測性的核心在於 **透過觀測資料、滿足不同人群、對於系統狀態的理解需求**，這裡先抽象觀測資料的生命週期，有如下圖示：

![2.png](https://ucc.alicdn.com/pic/developer-ecology/bbe841c403b1441f83f73913b9514274.png)

觀測資料透過 App 生成，經過中間處理環節後進行儲存，然後提供查詢服務。

觀測資料服務於不同型別的人群，如產品的使用者、業務、研發、SRE，不同的人群透過不同的形態來使用這些資料，包括 SLA / SLO / SLI / Alert 等。

根據可觀測資料的生命週期，可粗略總結可觀測性的問題域：

- 生成端

- 觀測資料的資料模型
   - 觀測資料的生成
   - 觀測資料的匯出

- 處理端

- 觀測資料的採集
   - 觀測資料的處理
   - 觀測資料的匯出

- 儲存端

- 觀測資料的儲存
   - 觀測資料的查詢
   - 觀測資料的使用

- 使用端

- 觀測資料的消費

## 軟體開發生命週期中，可觀測性的服務目標是什麼？

從專案整體視角來看軟體開發的生命週期，有如下的流程：

![3.png](https://ucc.alicdn.com/pic/developer-ecology/7d8633ef2801470184bb95596e350311.png)

細化下來：

![4.png](https://ucc.alicdn.com/pic/developer-ecology/e1acb3b90fa646a7825fe48907ea6263.png)

在軟體開發生命週期中，有 4 類角色。面對 4 類角色，可觀測性的服務目標會有差異：

![4-1.jpg](https://ucc.alicdn.com/pic/developer-ecology/aaa467b2547940f5921b911bc1e07cc2.jpg)

Note:

- **可靠** 與 **穩定** 不是等同的關係，**可靠** 包含了 **穩定+及時滿足功能需求** 特徵

## SRE 可以投入的方向

基礎服務：

![4-2.jpg](https://ucc.alicdn.com/pic/developer-ecology/ed1c5ddf12b44af7a4f3ebcc683e6357.jpg)

可以將 [OpenTelemetry](https://opentelemetry.io/) 作為基礎落地上述事項，參見：[《OpenTelemetry 簡析》](https://mp.weixin.qq.com/s/n4eVf2KZRIp2yKACk88qJA)。

與此同時，可以探索視覺化的穩定性保障服務，從全域性視角加快問題發現、定位、解決，一張圖把握叢集中「元件自身」和「元件之間互動」的健康狀態 ，形如下圖：

![5.png](https://ucc.alicdn.com/pic/developer-ecology/1c08e47ff1cb4fb89e3d9c0daccca021.png)

以此為入口，從整體把握叢集狀態，關聯異常資訊，處理問題時有的放矢。

## Serverless 場景下可觀測性

Serverless 是目前很有前景的雲上計算形態，阿里雲提供了比較完整的 Serverless 計算產品，如下：

![6.png](https://ucc.alicdn.com/pic/developer-ecology/c6991c107ab744bb96c4060f8153701f.png)

不同 Serverless 計算環境的一個主要差異點在於執行環境的持續時間，以此為出發點，可以抽象出 Serverless 計算環境中可觀測性的核心，然後分解出相應的解決方案：

![7.png](https://ucc.alicdn.com/pic/developer-ecology/51b3f393b3a14e59a401c959148c9b13.png)

根據執行環境持續時長的不同，可粗略劃分為 3 類：

- 天級別
- 小時級別
- 分鐘或秒級別

這些執行環境均可以透過虛擬機器、容器或 WebAssembly 等技術實現，區別點在於業務層面限定的執行環境持續時長。

根據執行環境持續時長的特徵，平臺和使用者的關注核心會有相應的變化：

- 天級別的執行環境，平臺方的核心在於提供可靠的執行環境，由使用者自由管理應用
   - 對於可觀測性，平臺方核心在於執行環境可靠性，使用者核心在於應用環境穩定性和請求響應效能

- 小時級別的執行環境，平臺方的核心在於圍繞應用提供管理服務，使用者聚焦於業務自身
   - 對於可觀測性，平臺方核心在於應用執行穩定性和請求響應效能，使用者核心在於業務特徵

- 分鐘或秒級別的執行環境，平臺方的核心在於細粒度的使用者業務邏輯管理，使用者更聚焦在業務的敏感特徵
   - 對於可觀測性，平臺方核心在於請求響應可靠性和業務特徵，使用者核心在於核心業務特徵

對於 FaaS 場景，[THUNDRA 公司](https://www.thundra.io/) 的 [demo](https://demo.thundra.io/functions) 提供了比較好的示例以供參考 (擷取 3 個示例)：

- 函式

![8.png](https://ucc.alicdn.com/pic/developer-ecology/28b1349d8f2045d7982848b453b9e48d.png)

- 應用

![9.png](https://ucc.alicdn.com/pic/developer-ecology/5f6123c4a2584f68af0b950880c18af7.png)

- 架構

![10.png](https://ucc.alicdn.com/pic/developer-ecology/ab28f002e80c4cc69188b99bebbf767c.png)

## 小結

透過對可觀測性概念、問題域、不同層級需求等形成深入理解，可以形成對可觀測性的理解大圖，然後在此基礎上與業務結合，增強業務在可觀測性方面的競爭力，同時迭代理解，技術與業務相互促進。

## References

- [wikipedia: Observability](https://en.wikipedia.org/wiki/Observability)
- [wikipedia: Service-level objective](https://en.wikipedia.org/wiki/Service-level_objective)
- [wikipedia: Service-level agreement](https://en.wikipedia.org/wiki/Service-level_agreement)
- [wikipedia: Service level](https://en.wikipedia.org/wiki/Service_level)
- [Google-Wide Profiling: A Continuous Profiling Infrastructure for Data Centers](https://research.google/pubs/pub36575/)
- [conprof - Continuous Profiling](https://github.com/conprof/conprof)
- [OpenTelemetry Proposal issues: Adding profiling as a support event type](https://github.com/open-telemetry/oteps/issues/139)
- [Kubernetes scalability and performance SLIs/SLOs](https://github.com/kubernetes/community/blob/master/sig-scalability/slos/slos.md)
- [從 DevOps 到 NoOps，Serverless 技術的落地方式探討](https://developer.aliyun.com/article/754236)

**歡迎大家留言交流使用 Kubernetes 過程中的穩定性保障問題，以及對穩定性保障的期待工具或服務。大家也可透過郵箱聯絡作者，進一步深入交流：flyer.zyf@alibaba-inc.com**。

Kubernetes 穩定性保障手冊 -- 可觀測性專題

相關文章