作者 | 張磊，阿里雲高階技術專家、CNCF 官方大使，CNCF 應用交付領域 co-chair，Kubernetes 專案資深維護者
最近，Kubernetes 社群裡有一個關於“Kubernetes is the new database”的論述，引起了很多人的關注。當然，這個論述更確切的含義，指的是 Kubernetes 專案本身的工作原理類似於資料庫，而不是說你應該把 Kubernetes 當資料庫用。
粗看起來，這個 “Kubernetes 是一個資料庫” 的論述還是比較匪夷所思的。畢竟我們平常所說的 Kubernetes 的工作原理，比如控制器模式、宣告式 API 等等，好像跟“資料庫”這個東西並沒有什麼直接關係。但實際上，這個論述背後卻有著其非常本質的含義。這裡的緣由，得從 Kubernetes 專案裡一個最基礎的理論談起。
Kubernetes 宣告式應用管理理論基礎
在我們討論 Kubernetes 的時候，往往會提到這樣一個概念，叫做“宣告式應用管理”。實際上，這也是 Kubernetes 專案跟其它所有基礎設施專案都不一樣的一個設計，是 Kubernetes 所獨有的一個能力，那麼，你有沒有思考過，宣告式應用管理在 Kubernetes 中具體的表現到底是什麼呢？1. 宣告式應用管理不僅僅是“宣告式風格的 API”
如果我們回顧一下 Kubernetes 的核心工作原理，我們其實就不難發現這樣一個事實：Kubernetes 裡面的絕大多數功能，無論是 kubelet 執行容器、kube-proxy 執行 iptables 規則，還是 kube-scheduler 進行 Pod 排程，以及 Deployment 管理 ReplicaSet 的過程等等，其實從總體設計上都是在遵循著我們經常強調過的“控制器”模式來進行的。即：使用者通過 YAML 檔案等方式來表達他所想要的期望狀態也就是終態（無論是網路、還是儲存），然後 Kubernetes 的各種元件就會讓整個叢集的狀態跟使用者宣告的終態逼近，最終達成兩者的完全一致。這個實際狀態逐漸向期望狀態逼近的過程，就叫做 reconcile（調諧）。而同樣的原理，也正是 Operator 和自定義 Controller 的核心工作方式。這種通過宣告式描述檔案，以驅動控制器執行 reconcile 逼近兩個狀態的工作形態，正是宣告式應用管理最直觀的體現。需要注意的是，這個過程其實包括了兩層含義：- 宣告式描述的期望狀態。這個描述必須是嚴格意義上使用者想要的最終狀態，如果你在這個描述裡面填寫的是某個中間狀態，或者你希望動態的調整這個期望狀態，都會破壞這個宣告式語義的準確執行；
- 基於 reconcile 的狀態逼近過程。Reconcile 過程的存在，確保了系統狀態與終態保持一致的理論正確性。確切地說，Reconcile 過程不停的執行“檢查 -> Diff -> 執行”的迴圈，才使得系統能夠始終對系統本身狀態與終態直接的差異並能夠採取必要的行動。而相比之下，僅僅擁有宣告式的描述是不充分的。這個道理很容易理解，你第一次提交這個描述時系統達成了你想要的期望狀態，並不能代表、也不能保證一個小時後的情況也是如此。很多人會搞混“宣告式應用管理”和“宣告式風格的 API” ，其實就是對 Reconcile 必要性沒有正確的認識。
你也許會比較好奇，採用這種宣告式應用管理體系，對於 Kubernetes 來說有什麼好處呢？2. 宣告式應用管理的本質：Infrastructure as Data
實際上，宣告式應用管理體系背後的理論基礎，是一種叫做 Infrastructure as Data （IaD）的思想。這種思想認為，基礎設施的管理不應該耦合於某種程式語言或者配置方式，而應該是純粹的、格式化的、系統可讀的資料，並且這些資料能夠完整的表徵使用者所期望的系統狀態。注：Infrastructure as Data 有時也被稱作 Configuration as Data，背後的意思是一樣的。而這樣做的好處就在於，任何時候我想對基礎設施做操作，最終都等價於對這些資料的“增、刪、改、查”。而更重要的是，我對這些資料進行“增、刪、改、查”的方式，與這個基礎設施本身是沒有任何關係的。所以說，我跟一個基礎設施互動的過程，不會被繫結在某種程式語言、某種遠端呼叫協議、或者某種 SDK 上。只要我能夠生成對應格式的“資料”，我就能夠“天馬行空”地使用任何我喜歡的方式來完成對基礎設施的操作。這種好處具體體現在 Kubernetes 上，就是如果我想在 Kubernetes 上做任何操作，我只需要提交一個 YAML 檔案，然後對這個 YAML 檔案進行增刪改查即可。而不是必須使用 Kubernetes 專案的 Restful API 或者 SDK 。這個 YAML 檔案裡的內容，其實就是 Kubernetes 這個 IaD 系統對應的 Data（資料）。所以說，Kubernetes 從誕生起就把它的所有功能都定義成了所謂的“API 物件”，其實就是定義成了一份一份的 Data。這樣，Kubernetes 使用者就可以通過對這些 Data 進行增刪改查來達成自己想要的目標，而不是被繫結在某種具體的語言或者 SDK 上。更重要的是，相比於專有的、命令式的 API 或者 SDK，以 YAML 為載體的宣告式資料能夠更簡單的完成對底層實現的遮蔽，從而更容易對接和整合現有的基礎設施能力，這其實也是 Kubernetes 生態能夠以驚人的速度蓬勃發展到今天的一個祕密武器：IaD 思想帶來的宣告式 API 與控制器模式，讓整個社群更願意為 Kubernetes 編寫外掛和對接各種能力，並且這些外掛和能力的通用性和可移植性也非常高，這是其它專案比如 Mesos 和 OpenStack 所望塵莫及的。可以說，IaD 正是 Kubernetes 能夠達成 “The Platform for Platform” 這個目標的核心戰鬥力所在。說到這裡，大家估計也就明白了：這種 IaD 設計中的 Data 具體表現出來，其實就是宣告式的 Kubernetes API 物件；而 Kubernetes 中的控制迴圈，則是確保系統本身能夠始終跟這些 Data 所描述的狀態永遠保持一致。從這一點上來說，Kubernetes 本質上其實是一個以資料（Data）來表達系統的設定值、通過控制器（Controller）的動作來讓系統維持在設定值的調諧系統。等一下，這個“讓系統維持在設定值”的理論，聽起來好像有點耳熟？實際上，Kubernetes 背後的這門基礎課，可能絕大多數工科背景的讀者都是學過的，它叫做《控制理論》。
在明白了 Kubernetes 的這個本質之後，我們回過頭來再看原本一些比較難以理解的設定，可能會更容易體會到一些本質的東西。比如，今天我們在使用 Kubernetes 的時候之所以要寫那麼多 YAML 檔案，其實是因為我們需要通過一種方式把 Data 提交給 Kubernetes 這個控制系統。而在這個過程中，YAML 只是一種為了讓人類能夠格式化的編寫 Data 的一個載體。如果做一個類比，那麼 YAML 就像我們小時候作業本里的“田字格”，而“田字格”裡寫的那些文字，才是 Kubernetes 真正關心的 Data 和整個系統運轉的核心。細心的讀者此時應該已經想到了，既然 Kubernetes 需要處理這些 Data，那麼 Data 本身不是也應該有一個固定的“格式”這樣 Kubernetes 才能解析它們呢？沒錯，這裡的格式在 Kubernetes 中就叫做 API 物件的 Schema。如果你經常編寫自定義 Controller 的話，可能就會對這個 Schema 的體感比較深刻：CRD 就是一個專門用來定義 Schema 的一個特殊的 API 物件。
YAML 工程師？不，你是資料庫工程師！
上述 Kubernetes 的 IaD 的本質，決定了它的工作原理其實更類似一個“資料庫”，而不像傳統意義上的分散式系統。這個差異，也是導致 Kubernetes 學習成本比較陡峭的一個根本性原因。而從這個角度來講，Kubernetes 為你暴露出來的各種 API 物件，實際上就是一張張預先定義好 Schema 的表（Table）。而我們絞盡腦汁編寫出的那些 YAML 檔案，其實就是對這些表中的資料（Data）進行的增刪改查（CURD）。而 YAML 這個工具本身，則好比 SQL 一樣是一個幫助你對資料庫中的資料進行操作的工具和載體。而唯一跟傳統資料庫不太一樣的是，Kubernetes 在拿到這些資料之後，並不以把這些資料持久化起來為目的，而是希望通過這些資料來驅動 Controller 執行某些操作，從而將整個系統的狀態逐步調整為跟資料中宣告的終態一致，這就回到我們前面所說的“控制理論”部分了。也正是由於 Kubernetes 這樣整套體系都圍繞著“資料”這個一等公民運轉的設定，才使得“編寫和操作 YAML檔案”成為了 Kubernetes 工程師的幾乎唯一的日常工作。不過，在理解了本文今天介紹的 IaD 的思想之後，你其實大可以把自己比作一個“資料庫工程師”了，而且這個 TItle 確實要比“YAML 工程師”更加貼切一些。
Kubernetes 專案的“檢視層”
正如前文所述，如果你從一個“資料庫”的角度重新審視 Kubernetes 設計的話，就不難發現 Kubernetes 的很多設計背後其實有著非常精妙的思想。比如：- 資料模型 - Kubernetes 的各種 API 物件與 CRD 機制
- 資料攔截校驗和修改機制 - Kubernetes Admission Hook
- 資料驅動機制 - Kubernetes Controller/Operator
- 資料監聽變更與索引機制 - Kubernetes 的 Informer 機制
另外一方面，隨著 Kubernetes 基礎設施越來越複雜，第三方外掛與能力越來越多，社群的維護者們也發現 Kubernetes 這個“資料庫”內建的“資料表”無論從規模還是複雜度上，都正在迎來爆炸式的增長。所以 Kubernetes 社群很早就在討論如何給 Kubernetes 設計出一個“資料檢視（View）”出來，即：
而這樣一個構建在 Kubernetes 內建 API 資源之上的“檢視層”給 Kubernetes 使用者帶來的好處，跟資料庫中的“檢視”是非常類似的，比如：Kubernetes 的檢視層，需要能夠給研發和運維暴露更簡潔的、經過抽象後的應用層 API 物件，而不是原始的基礎設施層 API 物件。而一個檢視層物件具體如何定義，自由度應該完全在使用者手中，不需要拘束在底層 Kubernetes 內建物件的 Schema 上。經過抽象後產生的檢視層物件，不僅在 UI 上需要更加簡單，還需要可以定義和管理非常複雜的底層 Kubernetes 資源拓撲，從而降低使用者管理 Kubernetes 應用的複雜度和心智負擔。研發和運維直接操作的是檢視層物件，所以底層的 Kubernetes 原始物件是被保護起來的。這使得這些 Kubernetes 的原始物件可以在使用者無感的情況下進行任意變更和升級。由於檢視層物件與底層基礎設施是完全解耦的，所以一個通過檢視層宣告的應用或者運維能力可以在任意 Kubernetes 叢集漂移，而不必擔心這些叢集支援的能力是不是有差異。Kubernetes 的檢視層物件必須依然是標準的 Kubernetes 物件，這樣 Kubernetes 對 API 物件的所有操作和原語對，才會對檢視層物件適用。我們不能在 Kubernetes API 模型上引入額外的心智負擔。給 Kubernetes 設定檢視層的想法雖然最終沒有在 Kubernetes 上游落地，但是卻成為了社群中大多數大規模玩家的主流做法。比如 Pinterest 就在 Kubernetes 之上設計了一個 PInterestService 的 CRD 來描述和定義 Pinterest 的應用，這個 CRD 其實就是一個檢視層物件。但這個做法對於絕大多數企業來說，還是太過簡陋了。要知道，資料的“檢視”並不只是資料的簡單抽象和翻譯，在真正的生產環境中要大規模使用檢視層，至少需要解決幾個關鍵問題：- 如何定義和管理檢視層物件與底層 K8s 物件之間的對映關係？注意這裡絕不是簡單的一對一對映，一個檢視層物件可能會對應多個 K8s 物件；
- 如何對“運維能力”進行建模和抽象？一個真正的應用，絕不只是簡單的 Deployment 或者 Operator，它一定是待執行程式與相應的運維能力的有機組合（比如一個容器化應用和它的水平擴充套件策略）。這些運維能力如何通過在應用定義裡體現出來？全定義成 annotation 可行嗎？
- 如何管理運維能力同待執行程式之間的繫結關係？如何將這個繫結關係對映成底層 K8s 當中真正的執行關係？
- 如何通過檢視層物件標準化的定義雲資源，比如一個阿里雲的 RDS 例項？
上述這些問題，正是 Kubernetes 上游最終沒能將“檢視層”落地的重要原因之一，同時也是諸如 Open Application Model （OAM）這樣的 Kubernetes 應用層開源專案主要的關注點。需要指出的是，僅靠一個 OAM 這樣一個“規範”是依然不足以解決上述所有問題的，Kubernetes 檢視層的建立，必須藉助標準的檢視層依賴庫在實現層予以保證，才能真正在 Kubernetes 中享受到“資料檢視”帶來的優勢和便捷。目前社群中比較強大的 Kubernetes 檢視層依賴庫，是來自 阿里 團隊的 oam-kubernetes-runtime。Open Application Model （OAM） 專案地址：https://github.com/oam-dev/specoam-kubernetes-runtime 專案地址：https://github.com/crossplane/oam-kubernetes-runtime
總結
Kubernetes 這個以 IaD 為核心的、類似“資料庫”設計，正是這個社群繁榮發展背後的重要理論基礎。然而，IaD 的思想本身也是一把雙刃劍，它催生出來的蓬勃發展的社群的另一面，是無數個“各自為政”的 Controller/Operator，以及一個通過這些 Controller 拼裝出來的、複雜度極高的 Kubernetes 叢集。這樣的一個生產級別複雜度的 Kubernetes 叢集，距離一個真正受研發和運維喜愛的雲原生應用管理平臺，差距可謂十萬八千里。在過去的 5 年裡，Kubernetes 專案的巨大成功，實際上是基礎設施能力（比如網路、儲存、容器）在宣告式 API 下逐步標準化和統一化的一個過程，而隨著 OAM 等 Kubernetes 應用層技術的逐步普及，我們已經看見一個標準化應用層生態正在付出水面。越來越多的團隊正在嘗試通過更加使用者友好的資料檢視層，對終端使用者暴露出喜聞樂見的 API，同時對基礎設施工程師提供出更加強大的橫向連通與模組化的平臺能力。與此同時，Kubernetes 這個“資料庫”其他欠缺的部分，也一定會越來越多的在社群湧現出來。比如今天正在迅速成熟的 Open Policy Agent（OPA）專案，可以認為是“資料攔截校驗和修改機制”這一層的不斷進化結果。再比如阿里巴巴內部在“萬節點”叢集中推進的管控鏈路效能調優工作，其理論基礎和實踐，跟今天的資料庫效能優化，更是有異曲同工之妙的。如果你有任何關於 IaD 系統想法，非常歡迎釘釘掃碼加群同我們交流！
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69975341/viewspace-2693571/，如需轉載，請註明出處，否則將追究法律責任。