![A7325037-1073-4606-AFA7-F0AC90A4E115.png](https://ucc.alicdn.com/pic/developer-ecology/09b8b549240040d09315471ec425f762.png)

作者 | 顧榮
Photo Creidt @ 輕零

> **導讀**：為了解決大資料、AI 等資料密集型應用在雲原生計算儲存分離場景下，存在的資料訪問延時高、聯合分析難、多維管理雜等痛點問題，南京大學 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份聯合發起了開源專案 Fluid。

近期 Fluid 0.4 版本正式釋出，主要新增了以下四項重要功能，分別是：

- 透過 DataLoad 自定義資源，提供簡單易用且可定製的資料預熱能力

- 增強海量小檔案資料集的支撐能力，擴充套件 Fluid 對 AI 應用的支援場景

- 開放 HDFS 檔案系統相容介面，支援 Spark 等框架的資料訪問

- 支援多資料集單節點混合部署，適應生產環境中的共享叢集環境

**Fluid 專案地址**：[https://github.com/fluid-cloudnative/fluid](https://github.com/fluid-cloudnative/fluid)

與 [Fluid 0.3](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247495020&idx=1&sn=0a0c988222ff577ea0465b9d4ea6eff6&chksm=fae6e6a3cd916fb5b22f91fb38039e519fb8a47a8c4aee894053616d44fb3ca4330933468cf6&scene=21#wechat_redirect) 類似，上述功能的開發需求同樣來自眾多社群使用者的生產實際反饋，此外，Fluid v0.4 還進行了一些 bug 修復和文件更新，歡迎使用體驗 Fluid v0.4！感謝為此版本做出貢獻的社群小夥伴，在接下來的版本功能迭代中，我們會繼續廣泛關注和採納社群建議，推動 Fluid 專案的發展，期待聽到大家更多的反饋！下文是本次新版本釋出功能的進一步介紹。

## 支援主動的資料預熱

在進行 AI 應用的模型訓練時，資料預熱是一種常見的最佳化手段。資料預熱是指在應用執行前，將應用所需要的資料預先從遠端儲存系統中拉取到本地的計算叢集，供之後應用執行時使用。**資料預熱透過一種順序的、有規則的並行資料讀取模式，避免了資料密集型應用直接消費遠端儲存系統資料時，因為隨機資料讀取造成的許多不必要的通訊開銷**。

因此，在 Fluid 0.4 版本中，**我們實現了一個新的 Kubernetes 自定義資源 - DataLoad，以 Kubernetes 資源的方式為使用者提供了宣告式的 API 介面，以控制資料預熱的相關行為**。DataLoad 自定義資源的一個簡單示例如下所示：

```
apiVersion: data.fluid.io/v1alpha1
kind: DataLoad
metadata:
  name: imagenet-dataload
spec:
  dataset:
    name: imagenet
    namespace: default
```

另外，透過少量的額外配置，DataLoad 還可實現子目錄載入、快取副本數量控制、後設資料同步等許多可定製的功能，更多與 DataLoad 使用相關的細節請參考 Github 上的[示例文件](https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/data_warmup.md)。

有關 DataLoad 使用與最佳化效果的演示影片如下：[http://cloud.video.taobao.com/play/u/2987821887/p/1/e/6/t/1/287213603893.mp4](http://cloud.video.taobao.com/play/u/2987821887/p/1/e/6/t/1/287213603893.mp4)

## 增強海量小檔案資料集的支撐能力

Fluid 是雲原生環境下資料密集型應用的高效支撐平臺，因此我們自始至終都在密切關注著 Fluid 提供的資料集支撐能力在不同場景下的適用性。在 Fluid 0.4 版本之前，Fluid 已經提供了諸如抽象、管理、加速、可觀測性等一系列資料集支撐能力，然而，根據社群成員的使用反饋，上述能力在海量小檔案場景下的支援還是非常初級。

考慮到海量小檔案資料集在真實生產環境，尤其是 AI 應用場景的普遍性，我們對海量小檔案帶來的問題進行了深入的探究，提出瞭如**非同步後設資料載入查詢、流式資料處理等**解決方案，**這些解決方案目前均已整合至 Fluid 0.4 版本中，以增強 Fluid 對海量小檔案資料集的支撐能力**。

**以下是 Fluid 使用 Alluxio Runtime 在 400 萬小檔案場景下的最佳化後的部分效能對比評估結果**：

![Dingtalk_20201117100516.jpg](https://ucc.alicdn.com/pic/developer-ecology/f34f92752ac34374bb9274fc019c7a2e.jpg)

海量小檔案的儲存管理是許多儲存系統都會遇到的棘手難題，在後續的版本中，我們會繼續關注這個場景以及它所帶來的問題。

## 方便 Spark 等大資料計算框架提供資料訪問支援

除了 AI 應用外，Fluid 0.4 同樣支援 Spark 等大資料應用在其上執行。透過向使用者暴露 Alluxio 分散式快取引擎的 Hadoop 檔案系統相容介面 (HCFS)，使得 Hadoop MapReduce, Apache Spark 等大資料計算框架編寫的資料分析應用，**能夠在不修改應用程式碼的情況下，直接執行於 Fluid 之上，並享受到由 Fluid 提供的分散式快取加速等能力**。

更多關於透過 HCFS 介面訪問資料的細節，請參考 Github 上的[示例文件](https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/accelerate_data_accessing_by_hdfs.md)。

## 多資料集單節點混合部署

在真實的生產環境中，使用者會在 Kubernetes 叢集中的 GPU 節點上訓練多個任務使用多個資料集，在 Fluid 0.4 版本之前，單節點無法同時進行多個資料集的混合部署，因此，如果多個使用者同時期望在同一個節點訪問各自所需的資料集，會出現某個使用者的資料集無法建立的情況。

在 Fluid 0.4 版本中，我們為 Fluid 增加了多資料集單節點混合部署的能力，這意味著，只要該節點上的資源足夠，來自不同使用者的多個資料集部署衝突的問題將不再發生，該能力將使得 Fluid 更加適應實際生產環境的需求。另一方面，混合部署能夠有效利用空閒資源，增加叢集中各個節點的叢集資源利用率，進一步提高 Fluid 帶來的成本收益。

有關多資料集單節點混合部署的簡單介紹，可參考 Github 上的[示例文件](https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/multi_dataset_same_node_accessing.md)。

## 致謝

- 徐之浩（南京大學 PASALab）對於支援小檔案場景和資料預熱功能的貢獻

- 謝遠東（雲知聲）對於多資料集單節點混合部署功能開發和場景驗證

- 仇伶瑋（中國電信）對於 Fluid 架構拆分的貢獻，他將 runtime 和 dataset 控制器拆分，支援未來兩個元件的並行演進

## 總結

Fluid 0.4 版本將繼續致力於解決社群使用者在實際生產環境中反饋的問題和需求，擴充套件 Fluid 在各場景的適用性，提升使用者體驗：

- 首先，對海量小檔案資料集支撐能力的最佳化使 Fluid 能夠更好地應對不同的使用場景；

- 其次，全新的 DataLoad 自定義資源為使用者提供了一種簡單的資料預熱解決方案；

- 再者，對 Spark 等大資料應用資料訪問的支援使得 Fluid 能夠為不同種類的資料密集型應用提供支撐能力；

- 最後，多資料集的混合部署使得 Fluid 更能適應實際生產環境的需求。

如果您有任何疑問或建議，歡迎加入釘釘交流群參與和討論：[https://img.alicdn.com/tfs/TB1Cm4ciNvbeK8jSZPfXXariXXa-452-550.png](https://img.alicdn.com/tfs/TB1Cm4ciNvbeK8jSZPfXXariXXa-452-550.png)

### 作者簡介

**顧榮**  博士，南京大學計算機系副研究員，研究方向大資料處理系統，已在 TPDS、ICDE、JPDC、IPDPS、ICPP 等領域前沿期刊會議發表論文 20 餘篇，主持國家自然科學基金面上專案/青年專案、中國博士後科學基金特別資助專案多項，研究成果落地應用於阿里巴巴、百度、位元組跳動、中國石化、華泰證券等公司和開源專案 Apache Spark、Alluxio，獲 2018 年度江蘇省科學技術一等獎、2019 年度江蘇省計算機學會青年科技獎，擔任中國計算機學會系統軟體專委會委員/大資料專委會通訊委員、江蘇省計算機學會大資料專委會秘書長、Fluid 開源專案 co-founder、Alluxio 開源專案 PMC 成員。

Fluid 0.4 新版本正式釋出：支援資料預熱，最佳化小檔案場景

相關文章