2021 年 9 月 17 日，在由中國資訊通訊研究院、中國通訊標準化協會聯合主辦的“2021 OSCAR 開源產業大會”上，由阿里云云原生團隊聯合發起（其他聯合單位包括：南京大學、Alluxio 社群）的開源專案 Fluid 榮獲“ OSCAR 尖峰開源專案和開源社群”獎項；同時，作為 Fluid 專案的聯合發起人和社群運營主席，來自南京大學 PASALab 的顧榮副研究員被評選為“開源人物”。
Fluid 於 2020 年 9 月正式對外開源。很多熟悉 Fluid 的朋友都知道，該專案的本質是一個雲原生資料編排和加速系統，於 2021 年 5 月正式成為 CNCF Sandbox 專案，幫助業界完善在雲原生 AI 領域的一塊重要版圖。
發展不過短短一年時間， Fluid 便一次獲得兩項開源界的重要認可，證明著其所專注的雲原生、AI 領域也正在迎來廣泛關注。這其中的意義和價值如何？我們嘗試管中察豹，從 Fluid 的發展背景和實區實踐聊表觀點。
雲原生 + AI，企業數字化創新的迴圈引擎
今年是十四五的開局之年。2021 年 3 月，新華社全文公佈了《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要》（以下簡稱“綱要”）。作為未來五年產業發展、科技創新等的重要行動綱領，綱要中有三個關鍵詞格外引人關注：“人工智慧”、“雲端計算”，和首次被列進規劃的“開源”。
作為構築數字經濟的基礎設施，雲端計算正像水電煤氣一樣，滲透至各行各業，用潤物細無聲來形容也毫不為過。近年來，以容器、微服務、DevOps 為代表的雲原生技術，使雲端強大的服務能力得到充分釋放，加速了基礎設施的敏捷化，進一步實現企業生產效能的提升，因為被喻為“企業數字化轉型的最短路徑”。
作為在資訊基礎設施上承載的主要資源，“資料”則可以看成是新型基礎設施的“血液”。AI 技術與雲端計算的深度融合趨勢, 也進一步對算力和應用架構提出了新要求。
回溯 AI 領域主要技術框架的發展，如 Spark，Hive，MapReduce ，為了減少資料傳輸，其設計更多地考慮資料本地化架構。但隨著技術環境和應用需求的不斷更迭，為兼顧資源擴充套件的靈活性與使用成本，計算和儲存分離的架構在雲原生環境中逐漸成為主流。這種計算儲存分離架構在提升系統彈性和靈活性的同時，也給 AI 等資料密集型應用帶來了計算效能和管理效率方面的挑戰。
為了解決現有云原生編排框架執行此類應用面臨資料訪問延時高、多資料來源聯合分析難、應用使用資料過程複雜等痛點，阿里云云原生團隊、南京大學、Alluxio 社群聯合發起並開源的雲原生資料編排和加速系統 Fluid ，該專案於 2021 年 5 月正式被 CNCF 接納為 Sandbox 專案，加速資料密集型應用全面擁抱雲原生。
核心功能：
Fluid 在雲原生應用與資料的協同編排、排程優化、資料快取等幾方面提出一系列技術創新，其核心功能包括：
- 提供儲存無感知的資料物件-資料集(Dataset)：通過自定義資源物件 (Custom Resource Definition)實現對不同儲存系統的統一抽象定義與管理，支援可觀測性和彈性伸縮。
- 利用分散式快取技術加速資料集讀寫：通過擴充套件 CacheRuntime 物件，自定義並管理分散式資料快取引擎。目前已原生支援快取引擎 Alluxio 和 JindoFS。
- 基於容器排程的智慧資料編排：基於 Kubernetes 容器排程和擴縮容能力，實現資料快取的智慧化編排。
- 資料集與應用協同排程：擴充套件 Kubernetes 排程器感知資料集快取資訊，就近排程應用，發揮本地讀寫快取的效能優勢。
- 標準訪問介面：使用 Kubernetes 標準儲存介面 Persistent Volume Claim 訪問資料集，實現無縫相容雲原生應用。
- 面向場景的效能調優：針對深度學習、批量資料處理等任務，提供資料集預熱、後設資料管理優化、小檔案 IO 優化、自動彈性伸縮等手段，普遍提升任務執行效率。
開源成為生產環境下 AI 應用雲原生化重要選擇
在本次開源產業大會上，信通院雲端計算與大資料研究所所長何寶巨集、中國通訊標準化協會常務副祕書長兼副理事長代曉慧等嘉賓發表重點觀點，表示開源是軟體業新的生產方式，也是一種新的交付方式，這種方式經過二十多年的發展，已經發展成熟。它既可以充分調動個人主觀能動性，通過社群協同機制進行思想碰撞，激發技術創新，引領新一代通用技術發展，更構建了新的合作模式，通過程式碼公開、規則公開、過程公開，營造透明、開放的社群環境，並通過程式碼檢測，自動形成安全前置，有效打消了企業及個人參加的顧慮，建立了信任機制，已成為企業構建資訊系統的重要選擇。
這些觀點在 Fluid 開源社群中也得到了充分的印證。從正式被創立之日起，共建 Fluid 的各方就致力於通過結合學術界的原創研究和工業界的落地實踐能力，加速雲原生基礎設施擁抱資料密集型應用，並且秉持開源精神與社群一同推動 Kubernetes 平臺應用使用和管理資料的統一介面的構建和使用。
正式開源來的短短在一年時間裡，Fluid 藉助社群的力量迅速發展，得到來自中國電信、微博、Boss 直聘、第四正規化、雲知聲等眾多企業的專家和工程師的關注，並貢獻了大量的開發工作，包括微博、中國電信、毫末智行等多家大型知名 IT 和網際網路企業都成功將Fluid 應用於生產環境下資料密集型應用的開發與部署，大大提升了資源利用效率和應用效能。
Fluid 的開源實踐，不僅得到了來自各界的認可，也為企業在雲上以原生的方式創新資料密集型應用開發和部署，加速資料的流通、彙集、處理和價值挖掘，提升應用生產效率提供了可以信賴的經驗和方法。
作為對原生 Kubernetes 生態完全相容的資料密集型應用執行支撐平臺，Fluid 將向更靈活、智慧、可擴充套件的架構方向發展，不斷提升開發者和使用者使用體驗。未來，Fluid 將繼續與社群並肩、與生態同行，致力於推進雲原生技術在 AI 等領域的生態建設與普及，與全球開發者一起擴充雲原生的邊界。
戳連結（https://github.com/fluid-cloudnative/fluid），檢視 Fluid 開源專案 github 主頁！