近日，由阿里雲撰寫的關於 KOLE 創新論文被 ACM SoCC 國際會議長文錄用。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2c160e7bf4e5434981ee384f8bedb43e~tplv-k3u1fbpfcp-zoom-1.image "1.png")

ACM Symposium on Cloud Computing（以下簡稱 SoCC）是由美國計算機協會主辦、聚焦雲端計算技術的一項學術會議，是雲端計算的首要會議。它彙集了對雲端計算感興趣的研究人員、開發人員、使用者和實踐者，是唯一由 SIGMOD（資料管理特別興趣組）和 SIGOPS（作業系統特別興趣組）聯合主辦的會議, 這個會議在近些年蓬勃發展，旨在聚集資料庫和計算機系統兩大領域的學者，共同推進雲端計算技術在工業界的研究與發展。

此次被錄用的論文為《KOLE: Breaking the Scalability Barrier for Managing Far Edge Nodes in Cloud》。此論文靈感誕生於阿里雲邊緣容器產品 ACK@Edge ，ACK@Edge 是阿里雲容器服務針對邊緣計算場景推出的雲邊一體化協同託管方案,採用非侵入方式增強，提供邊緣自治、邊緣單元、邊緣流量管理、原生運維 API 支援等能力，以原生方式支援邊緣計算場景下的應用統一生命週期管理和統一資源排程，現階段已經覆蓋了 CDN、音影片直播、物聯網、物流、工業大腦、城市大腦、地產、票務、新零售、能源、交通等實際業務場景，並服務於阿里雲 LinkEdge、盒馬、優酷、影片雲、大麥、CDN 等多個業務或專案中。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e9b8e673fe264f7fb21e1134d96101d6~tplv-k3u1fbpfcp-zoom-1.image "2.png")

KOLE  全稱：A framework built on top of **K**ubernetes to **O**rchestrate **L**imitless (far)  **E**dge nodes。KOLE 針對 Kubernetes 在雲邊一體，大規模邊緣節點管理方面的挑戰，創新性的提出了基於 Kubernetes的新的雲邊架構，透過利用新的雲邊通訊協議以及快取快照的方式，使 Kubernetes 能夠輕鬆管理數百萬節點。為了突破 Kubernetes 管理大量邊緣節點的可擴充套件性限制，KOLE 的設計遵循三個標準：

-   避免建立大量物件來持久化邊緣節點的狀態；
-   避免在節點與 APIServer 中保持大量的 HTTP 連線；
-   使用 Kubernetes CRD 支援對邊緣節點及其執行的應用程式進行所需的管理操作。

基於以上原則，KOLE 創新性的使用了 MQTT 協議作為雲邊通訊機制，MQTT 被設計用於輕量級的釋出/訂閱式訊息傳輸，旨在為低頻寬和不穩定的網路環境中的物聯網裝置提供可靠的網路服務,是專門針對物聯網開發的輕量級傳輸協議，並且適合百萬級裝置連線, MQTT 協議針對低頻寬網路，低計算能力的設 備，做了特殊的最佳化，MQTT 的傳輸格式非常精小，最小的資料包只有 2 個位元，相對於 HTTP 協議具有更低的能耗。

經過我們大量的實驗測試評估，KOLE 可以支援多達 100 萬個節點，而不會給 Kubernetes 的核心元件(如 Apiserver 和 etcd)帶來顯著的開銷。我們能夠使用 KOLE 在約 73 秒內將工作負載規範分發到 100 萬個節點，在 5 分鐘內處理 100 萬個節點註冊，並在約 20 秒內使用快照中的 100 萬個節點重建雲狀態快取。具體特點如下：

-   **更強的處理節點心跳的效能**

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/41dd1ac5391e4fee97434e872a75eeb5~tplv-k3u1fbpfcp-zoom-1.image "3.png")

實驗資料表明 KOLE 處理所有心跳的時間幾乎隨著節點數量的增加呈線性增加。處理一百萬個註冊心跳需要 ∼9.2 秒。

-   **更低的雲端控制器元件的消耗**

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0926619b9c4544e285bf60a7a994d1bc~tplv-k3u1fbpfcp-zoom-1.image "4.png")

對於 100 萬個節點，KOLE 控制器和 MQTT Broker 的記憶體消耗分別為 10.6GB 和 57.3GB，CPU 使用率適中，KOLE 控制器消耗~1.4 個核心，MQTT Broker 消耗~2 個核心。

-   **更快的工作負載分發**

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/11c0d4d8b34e421a9e3feb53f106a0c9~tplv-k3u1fbpfcp-zoom-1.image "5.png")

KOLE 透過 MQTT Topic 傳送到單個節點時提供了線性可擴充套件性。將工作負載分別分發到一百萬個節點需要 73 秒。線性來自 KOLE 控制器按順序釋出所有 MQTT Topic 的事實。

-   **更高效的雲狀態快取快照**

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/79985ef1d50b4853aed8b890954c0725~tplv-k3u1fbpfcp-zoom-1.image "6.png")

由於 Kubernetes 對 CRD 的限制為 1MB 大小，因此 KOLE 將雲狀態快取的序列化位元組流設定為為 500MB，對於一百萬個節點，這意味著需要 ∼500 個快照用於儲存一張快照的 CR 例項。另外為了對資料進一步壓縮，KOLE 對常見的壓縮演算法進行了測試，最終在 KOLE 中，我們選擇 gzip 作為預設壓縮演算法，因為它提供了高壓縮比和快速壓縮時間，將快照 CR 的數量從 503 個減少到 33 個（減少 93%）。

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/00eac79e609741bca5b4112593478b90~tplv-k3u1fbpfcp-zoom-1.image "7.png")

在極端情況下， 我們需要從快照中恢復最原始的資料，上圖展示了從快照構建雲狀態快取所需要時間，其中包括從 APIServer 載入所有快照 CR 的時間以及執行解壓縮演算法以恢復資料結構的時間。使用 gzip 演算法構建具有 100 萬個節點的快取需要 ∼20 秒。為了突出 KOLE 中快速狀態恢復的優勢，我們透過列出來自 APIServer 的大量單個節點物件來檢查 Kubernetes List API 的效能。結果如上圖所示。正如預期的那樣，從 APIServer 列出大量物件是低效的。列出一百萬個節點物件需要 900 秒。很多 Kubernetes 控制器如 kube-scheduler，kube-controller-manager 需要在啟動過程中列出所有節點, List API 效能是他們支援大量節點的瓶頸之一。

-   **更迅速的批次節點註冊**

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b8cb33a46fed4eef989da8a534977b9d~tplv-k3u1fbpfcp-zoom-1.image "8.png")

實驗結果表明，在擁有 100 萬個節點情況下，同時批次註冊成功需要 260 秒左右。

此次論文入選 ACM SoCC，是阿里雲在雲原生容器技術領域，擴充服務邊界，實現雲邊協同的又一次創新。

***附論文資訊***

*錄用論文題目：*

*KOLE: Breaking the Scalability Barrier for Managing Far Edge Nodes in Cloud*

*作者：張傑，晉晨，黃玉奇，易立，叔同，郭飛*

*論文概述：在邊緣計算領域，越來越多的趨勢是利用容器化和 Kubernetes 等雲原生技術和平臺來管理邊緣應用程式以提高運營效率。不幸的是，Kubernetes 中每個叢集支援的節點數量只有幾千個，這遠遠少於在典型邊緣計算場景中所能管理的裝置節點數量。在本文中，我們提出了 KOLE 方案，這是一個擴充套件上游 Kubernetes 以支援大量邊緣節點的框架。它用 MQTT 訊息系統代替了 Kubernetes 中現有的 Apiserver 與節點的通訊機制。MQTT 代理完全解除安裝了為 Apiserver 中的節點保持大量 HTTP 連線的開銷。在 KOLE 中，我們透過在雲狀態快取中維護它們來避免在 Apiserver 中建立大量單獨的物件。快取會定期生成快照以進行災難恢復。總體而言，KOLE 透過犧牲擁有單個物件的可管理性實現了出色的可擴充套件性。實驗結果表明，KOLE 具有可擴充套件性，可支援百萬級別的節點。*

點選[此處](https://www.aliyun.com/product/cs/ack_edge)，瞭解邊緣容器服務 ACK@Edge 更多詳情！

阿里云云邊一體容器架構創新論文被雲端計算頂會 ACM SoCC 錄用

相關文章