![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/520bdf59c82e41759bf5d95d3eab2a79.png)

作者 | 顧榮  南京大學 PASALab

> **導讀：**為了解決大資料、AI 等資料密集型應用在雲原生計算儲存分離場景下，存在的資料**訪問延時高、聯合分析難、多維管理雜**等痛點問題，南京大學 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份聯合發起了[開源專案 Fluid](https://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247494034&idx=1&sn=0877a44cc9f6882f3fd2d2edb7b31de7&scene=21#wechat_redirect)。

Fluid 是雲原生環境下資料密集型應用的高效支撐平臺，專案自開源釋出以來吸引了眾多相關方向領域專家和工程師的關注，在大家的積極反饋下社群的開發工作進展迅速。近期 Fluid 0.3 版本正式釋出，主要新增了三項重要功能，分別是：

- 實現通用資料儲存加速，提供 Kubernetes 資料卷訪問加速功能

- 加強資料訪問安全保護，提供面向資料集的細粒度許可權控制功能

- 簡化使用者複雜引數配置，提供原生化系統內部引數配置最佳化功能

Fluid 專案地址：[https://github.com/fluid-cloudnative/fluid](https://github.com/fluid-cloudnative/fluid)

這三大主要功能的開發需求來自眾多社群使用者的生產實際反饋，此外 Fluid v0.3 還進行了一些 bug 修復和文件更新，歡迎使用體驗 Fluid v0.3！感謝為此版本做出貢獻的社群小夥伴，我們會繼續廣泛關注和採納社群建議，推動 Fluid 專案的發展，期待聽到大家更多的反饋！

Fluid v0.3 下載連結：[https://github.com/fluid-cloudnative/fluid/rele](https://github.com/fluid-cloudnative/fluid/rele)ases

下文是本次新版本釋出功能的進一步介紹。

## 1. 支援 Kubernetes 資料卷訪問加速

儘管之前版本的 Fluid 已經支援諸多底層儲存系統（如 HDFS、OSS 等），但在實際生產環境中，企業內部的儲存系統往往更加多樣，因儲存系統不相容而無法對接 Fluid 的情況仍然存在。例如使用者使用 Lustre 分散式檔案系統，由於之前的 Fluid 所使用的分散式快取引擎尚不相容 Lustre 系統，因此該使用者將無法正常使用 Fluid。

為了提升 Fluid 在雲原生資料訪問加速場景的通用性，Fluid v0.3. 增加了**對資料卷 Persistent Volume Claim (PVC) 和主機目錄（Host Path）掛載的加速支援**，從而為各類儲存系統與 Fluid 的對接提供了一種通用化加速方案：無論使用哪一種底層儲存系統，**只要該儲存系統可被對映為 Kubernetes 原生的資料卷 PVC 資源物件或者叢集節點上的主機目錄，那麼它就可以透過 Fluid 享受到如分散式資料快取、資料親和性排程等功能特性帶來的優勢**。其基本概念如下圖所示：

![1.png](https://ucc.alicdn.com/pic/developer-ecology/30f378f9d38e4620aaccfc8c7cfdf563.png)

具體使用方法非常簡單，使用者只需在 mountPoint 中指定 pvc://nfs-imagenet，其中 nfs-imagenet 是 Kubernetes 叢集中已有資料卷。

```
apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: fluid-imagenet
spec:
  mounts:
  - mountPoint: pvc://nfs-imagenet
    name: nfs-imagenet
```

【[點選即可檢視系統演示影片](http://cloud.video.taobao.com/play/u/2987821887/p/1/e/6/t/1/281779782703.mp4)】

我們透過 TensorFlow Benchmark 訓練 ResNet-50 模型為測試場景，驗證了 PVC 訪問加速能力，以下是速度提升結果：

![2.jpg](https://ucc.alicdn.com/pic/developer-ecology/54abbb590a3749b3aad49acacf4deb1a.jpg)

從評估結果來看，Fluid 所提供的分散式快取能力都能夠提升整個訓練任務的速度，縮短整體訓練時間超過 20%。更多與測試相關的細節請參考 Github 上的[相關示例文件](https://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247495020&idx=1&sn=0a0c988222ff577ea0465b9d4ea6eff6&chksm=fae6e6a3cd916fb5b22f91fb38039e519fb8a47a8c4aee894053616d44fb3ca4330933468cf6&token=1454010017&lang=zh_CN)：

- PVC 加速文件：[https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/accelerate_pvc.md](https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/accelerate_pvc.md)

- 主機目錄加速文件：[https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/hostpath.md](https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/hostpath.md)

## 2. 資料集的訪問許可權控制

很多提供機器學習平臺服務的企業存在多使用者共享儲存系統情況和場景。出於安全性考慮，機器學習平臺服務提供商需要進行嚴格的訪問許可權控制以**保障使用者之間的資料隔離性**，即任何未經授權的使用者不得隨意訪問他人資料集。

Fluid 在 v0.3 中提供了對上述場景的支援：多使用者共享的底層儲存系統掛載到 Fluid 後，Fluid 暴露出的檔案許可權資訊（如所屬使用者、檔案模式等）將與底層儲存系統保持一致，即實現了檔案從底層儲存系統到部署 Fluid 的節點的**透傳**。這也就意味著底層儲存系統中的訪問許可權控制同樣將在部署 Fluid 的各個節點上生效，以此保證使用者之間的資料隔離性不被破壞。

除此以外，Fluid v0.3 還提供了資料集“臨時借用”的功能特性。“臨時借用”指的是某使用者需要擁有臨時訪問所屬另一個使用者的某個資料集的許可權。在 Fluid v0.3 中，管理員可透過靈活的配置在部署 Fluid 的節點上完成資料集所有權的轉換，以賦予指定使用者“臨時借用”他人資料集的能力，這能夠**幫助叢集管理員實現更細粒度和靈活的資料集許可權管理**。

訪問非 root 使用者資料的使用文件：[https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/nonroot_access.md](https://github.com/fluid-cloudnative/fluid/blob/master/docs/zh/samples/nonroot_access.md)

## 3. 預設引數配置最佳化

Fluid 提供了很多引數配置供使用者定製化自己的應用，在 Fluid 0.3 版本之前，使用者需要根據實際環境和業務目標完全自行進行手工配置，然而手工完成配置最佳化工作對於大部分使用者而言是比較困難且工作量繁重的。

Fluid v0.3 內建了大量面向 Alluxio 和 Fuse 等內部元件的預設引數配置最佳化，使用者不再需要將大量精力放在引數配置調優上。根據我們經驗最佳化後的預設引數設定能夠在大部分 Fluid 常見使用場景下獲得較好效能。

## 總結

Fluid v0.3 主要解決社群使用者在實際生產環境中反饋的問題和需求。對主機目錄和 PVC 掛載的支援為相容不同的底層儲存系統給出了一個通用的解決方案；資料集的訪問許可權控制讓 Fluid 能夠真正滿足多使用者共享的實際生產環境的需求；最佳化後的預設引數配置增加了 Fluid 的易用性，並在多數場景下保持效能的穩定。

如果您有任何疑問，歡迎加入釘釘交流群參與和討論：[https://img.alicdn.com/tfs/TB1Cm4ciNvbeK8jSZPfXXariXXa-452-550.png](https://img.alicdn.com/tfs/TB1Cm4ciNvbeK8jSZPfXXariXXa-452-550.png)

### 致謝

- 感謝徐之浩，羅義力（南京大學 PASALab）對於支援 Kubernetes 資料卷訪問加速的貢獻

- 感謝呂鼕鼕，謝遠東（雲知聲）對於資料集許可權控制功能的貢獻

### 作者簡介

**顧榮** 博士，南京大學計算機系副研究員，研究方向大資料處理系統，已在 TPDS、ICDE、JPDC、IPDPS、ICPP 等領域前沿期刊會議發表論文 20 餘篇，主持國家自然科學基金面上專案/青年專案、中國博士後科學基金特別資助專案多項，研究成果落地應用於阿里巴巴、百度、位元組跳動、中國石化、華泰證券等公司和開源專案 Apache Spark、Alluxio，獲 2018 年度江蘇省科學技術一等獎、2019 年度江蘇省計算機學會青年科技獎，擔任中國計算機學會系統軟體專委會委員/大資料專委會通訊委員、江蘇省計算機學會大資料專委會秘書長、Fluid 開源專案 co-founder、Alluxio 開源專案 PMC 成員。

> “[阿里巴巴雲原生](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247495020&idx=1&sn=0a0c988222ff577ea0465b9d4ea6eff6&chksm=fae6e6a3cd916fb5b22f91fb38039e519fb8a47a8c4aee894053616d44fb3ca4330933468cf6&token=1454010017&lang=zh_CN#rd)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”

Fluid 0.3 新版本正式釋出：實現雲原生場景通用化資料加速

相關文章