來源 | [阿里巴巴雲原生公眾號](https://mp.weixin.qq.com/s/gWiqYAa0Lg3c3tdL_XOxNg)

2021 年 4 月 27 日，雲原生計算基金會（CNCF）宣佈透過全球 TOC 投票接納 Fluid 成為 CNCF 官方沙箱專案。Fluid 是一個由南京大學、阿里雲以及 Alluxio 開源社群聯合發起並開源的雲原生資料編排和加速系統。

Fluid 專案地址：
[_https://github.com/fluid-cloudnative/fluid_](https://github.com/fluid-cloudnative/fluid)

## 專案介紹

雲原生環境下，計算儲存分離架構在提升系統彈性和靈活性的同時，給大資料 / AI 等資料密集型應用帶來了計算效能和管理效率方面的挑戰。現有云原生編排框架執行此類應用面臨資料訪問延時高、多資料來源聯合分析難、應用使用資料過程複雜等痛點。Fluid 正是為解決這些問題而生的。

![1222.jpg](https://ucc.alicdn.com/pic/developer-ecology/e385c5c74134410fb7cdd47d9f6e64ab.jpg)
Fluid 系統架構圖

Fluid 執行在 Kubernetes 上，是一個可擴充套件的分散式資料編排和加速系統，其目標為構建雲原生環境下資料密集型應用的高效支撐平臺。該專案開源於 2020 年 9 月，短短半年多時間內發展迅速，吸引了眾多領域專家和工程師的關注與貢獻，並在包括微博、中國電信等多家大型知名IT和網際網路企業中使用。

## 核心功能

Fluid 在雲原生應用與資料的協同編排、排程最佳化、資料快取等幾方面提出一系列技術創新，其核心功能包括：

- **提供儲存無感知的資料物件-資料集(Dataset)**：透過自定義資源物件 (Custom Resource Definition)實現對不同儲存系統的統一抽象定義與管理，支援可觀測性和彈性伸縮。
- **利用分散式快取技術加速資料集讀寫**：透過擴充套件 CacheRuntime 物件，自定義並管理分散式資料快取引擎。目前已原生支援快取引擎 [Alluxio](https://www.alluxio.io/) 和 [JindoFS](https://github.com/aliyun/alibabacloud-jindofs)。
- **基於容器排程的智慧資料編排**：基於 Kubernetes 容器排程和擴縮容能力，實現資料快取的智慧化編排。
- **資料集與應用協同排程**：擴充套件 Kubernetes 排程器感知資料集快取資訊，就近排程應用，發揮本地讀寫快取的效能優勢。
- **標準訪問介面**：使用 Kubernetes 標準儲存介面 Persistent Volume Claim  訪問資料集，實現無縫相容雲原生應用。
- **面向場景的效能調優**：針對深度學習、批次資料處理等任務，提供資料集預熱、後設資料管理最佳化、小檔案 IO 最佳化、自動彈性伸縮等手段，普遍提升任務執行效率。

## 展望未來

Fluid 開源專案致力於透過結合學術界的原創研究和工業界的落地實踐能力，加速雲原生基礎設施擁抱資料密集型應用，與開源社群一同構建 Kubernetes 平臺應用使用和管理資料的統一介面。Fluid 開源社群目前有 5 位核心維護者 (Maintainer)，分別來自南京大學，阿里巴巴和 Alluxio，並由來自南京大學 PASALab 的顧榮副研究員擔任開源社群主席。此外，來自中國電信、微博、Boss 直聘、第四正規化、雲知聲等企業的工程師都貢獻了大量的開發工作。

作為對原生 Kubernetes 生態完全相容的資料密集型應用執行支撐平臺，Fluid 將向更靈活、智慧、可擴充套件的架構方向發展，不斷提升開發者和使用者使用體驗。未來，Fluid 將繼續與社群並肩、與生態同行，致力於推進雲原生技術在大資料 / AI 系統領域的生態建設與普及，與全球開發者一起擴充雲原生的邊界。

歡迎大家持續關注 Fluid 開源專案並積極參與該專案的共建。

Fluid 進入 CNCF Sandbox，加速大資料和 AI 應用擁抱雲原生

相關文章