![1.png](https://ucc.alicdn.com/pic/developer-ecology/bb3e420fac824108a72a824a4010813d.png)

作者 | 顧榮、車漾、範斌

得益於容器化帶來的高效部署、敏捷迭代，以及雲端計算在資源成本和彈性擴充套件方面的天然優勢，以 Kubernetes 為代表的雲原生編排框架吸引著越來越多的 AI 與大資料應用在其上部署和執行。然而，雲原生計算基金會（CNCF）[全景圖](https://landscape.cncf.io/)中一直缺失一款原生元件，以幫助這些資料密集型應用在雲原生場景下高效、安全、便捷地訪問資料。

如何驅動大資料、AI 應用在雲原生場景下高效執行是一個既有理論意義又具應用價值的重要挑戰性問題：

- 一方面，解決該問題需考慮複雜場景下應用協同編排、排程最佳化、資料快取等一系列理論與技術難題；

- 另一方面，該問題的解決能夠有力地推動廣闊雲服務場景下的大資料、AI 落地應用。

為系統化解決相關問題，學術界和工業界密切合作，**南京大學 PASALab 副研究員顧榮博士、阿里雲容器服務高階技術專家車漾、Alluxio 專案創始成員範斌博士聯合推動發起了 [Fluid開源合作專案](https://github.com/fluid-cloudnative/fluid)**。

# Fluid 是什麼？

Fluid 是一款開源的雲原生基礎架構專案。在計算和儲存分離的大背景驅動下，Fluid 的目標是為 AI 與大資料雲原生應用提供一層高效便捷的資料抽象，將資料從儲存抽象出來，以便達到：

- 透過**資料親和性排程**和**分散式快取引擎加速**，實現資料和計算之間的融合，從而加速計算對資料的訪問；

- 將資料獨立於儲存進行管理，並且透過Kubernetes的名稱空間進行資源隔離，實現資料的安全隔離；

- 將來自不同儲存的資料聯合起來進行運算，從而有機會打破不同儲存的差異性帶來的資料孤島效應。

透過 Kubernetes 服務提供的資料層抽象，可以讓資料像流體一樣在諸如 HDFS、OSS、Ceph 等儲存源和 Kubernetes 上層雲原生應用計算之間靈活高效地移動、複製、驅逐、轉換和管理。而具體資料操作對使用者透明，使用者不必再擔心訪問遠端資料的效率、管理資料來源的便捷性，以及如何幫助 Kuberntes 做出運維排程決策等問題。使用者只需以最自然的 Kubernetes 原生資料卷方式直接訪問抽象出來的資料，剩餘任務和底層細節全部交給 Fluid 處理。

Fluid 專案當前主要關注資料集編排和應用編排這兩個重要場景。資料集編排可以將指定資料集的資料快取到指定特性的 Kubernetes 節點；而應用編排將指定該應用排程到可以或已經儲存了指定資料集的節點上。這兩者還可以組合形成協同編排場景，即協同考慮資料集和應用需求進行節點資源排程。

# 為什麼雲原生需要 Fluid?

雲原生環境與更早出現的大資料處理框架在設計理念和機制上存在天然分歧。深受 Google 三篇論文 GFS、MapReduce、BigTable 影響的 Hadoop 大資料生態，從誕生之初即信奉和實踐“移動計算而不是資料”的理念。因此以 Spark，Hive，MapReduce 為代表的資料密集型計算框架及其應用為減少資料傳輸，其設計更多地考慮資料本地化架構。但隨著時代的變遷，為兼顧資源擴充套件的靈活性與使用成本，計算和儲存分離的架構在更新興的雲原生環境中大行其道。因此雲原生環境裡需要類似 Fluid 這樣的一款元件來補充大資料框架擁抱雲原生帶來的資料本地性缺失。

此外，在雲原生環境中，應用通常以無狀態（Stateless）微服務化方式部署，並不以資料處理為中心；而資料密集型框架和應用通常以資料抽象為中心，開展相關計算作業和任務的分配執行。當資料密集型框架融入雲原生環境後，也需要像 Fluid 這樣以資料抽象為中心的排程和分配框架來協同工作。

**針對 Kubernetes 缺乏對應用資料的智慧感知和排程最佳化的問題，及以 Alluxio 為例的資料編排引擎存在難以直接管控雲原生基礎架構層的侷限，Fluid 提出資料應用協同編排、智慧感知、聯合最佳化等一系列創新方法，並且形成一套雲原生場景下資料密集型應用的高效支撐平臺。**

具體的架構參見下圖：

![2.png](https://ucc.alicdn.com/pic/developer-ecology/41e6140e0aa1420d86a1b6d7aebbe27b.png)

# 演示

我們提供了影片的 Demo，為您展示如何透過 Fluid 提升雲上 AI 模型訓練的速度。在這個 Demo 中，使用同樣的 ResNet50 測試程式碼，Fluid 加速和原生的 ossfs 直接訪問相比，不論在每秒鐘的訓練速度，和訓練總時長相比都有明顯的優勢，訓練耗時縮短了 69%。

![3.png](https://ucc.alicdn.com/pic/developer-ecology/b98f92cda06b494185b875b9a725fd7d.png)

點選連結，即可檢視影片 Demo：[https://v.qq.com/x/page/t31488r2p2q.html](https://v.qq.com/x/page/t31488r2p2q.html)

# 快速體驗 Fluid

Fluid 需要執行在 Kubernetes v1.14 及以上版本，並且需要支援 CSI 儲存。Fluid Operator 的部署和管理是透過 Kubernetes 平臺上的包管理工具 Helm v3 實現的。執行 Fluid 前請確保 Helm 已經正確安裝在 Kubernetes 叢集裡。你可以參照[文件](https://github.com/fluid-cloudnative/docs-fluid/blob/master/zh/get_started.md)，安裝和使用 Fluid。

# 歡迎加入與反饋

Fluid 讓 Kubernetes 真正具有分散式資料快取的基礎能力，開源只是一個起點，需要大家的共同參與。大家在使用過程發現 bug 或需要的 feature，都可以直接在 [GitHub](https://github.com/fluid-cloudnative/fluid) 上面提 issue 或 PR，一起參與討論。

另外我們有一個[釘釘群](https://qr.dingtalk.com/action/joingroup?code=v1,k1,9ce0lTIqlAb8QJQp5tjlOjomGdSKeJ8dWDbIVB8RNPw=&_dt_no_comment=1&origin=11)，手機端釘釘點選超鏈即可加入，歡迎您的參與和討論！

#### 作者簡介

**顧榮**  南京大學計算機系副研究員，研究方向大資料處理系統，已在 TPDS、ICDE、Parallel Computing、JPDC、IPDPS、ICPP 等領域前沿期刊會議發表論文20餘篇，成果落地應用於中國石化、百度、位元組跳動等公司和開源專案Apache Spark，獲 2018 年度江蘇省科學技術一等獎、2019 年度江蘇省計算機學會青年科技獎，當選中國計算機學會系統軟體專委會委員/大資料專委會通訊委員、江蘇省計算機學會大資料專委會秘書長；

**車漾**  阿里雲高階技術專家，從事 Kubernetes 和容器相關產品的開發。尤其關注利用雲原生技術構建機器學習平臺系統，是 [GPU 共享排程](https://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247490452&idx=1&sn=fc0141c6211578e5e3af9aeb2662f1ce&chksm=fae5105bcd92994db2ae737b952e03bf86ff1b0a37dab5e8e29d9723df0449164fdbbdba4495&token=850285981&lang=zh_CN)的主要作者和維護者；

**範斌** [Alluxio](https://github.com/Alluxio/alluxio) 開源專案的管理委員會成員（PMC Member）和原始碼維護者(Maintianer)。加入 Alluxio 專案之前, 範斌就職於谷歌, 從事下一代大規模分散式儲存系統的研究與開發。他於 2013 年獲得卡內基梅隆大學(Carnegie Mellon University)計算機系博士學位，博士期間從事分散式系統的設計與實現，是 [Cuckoo Filter](https://en.wikipedia.org/wiki/Cuckoo_filter) 的作者。

>“阿里巴巴雲原生：關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”

Fluid: 讓大資料和 AI 擁抱雲原生的一塊重要拼圖

相關文章