JuiceFS 直連 NFS 新功能介紹，賦能 NAS 進行 AI 訓練

JuiceFS發表於2024-07-19
UINFSAI

NAS 透過提供多使用者網路資料存取服務，極大地簡化了資料共享和管理。而 NFS 作為實現這種共享的一種主流協議，儘管廣泛應用，但在處理複雜的 AI 訓練場景時常常受限於其效能和一致性問題。

JuiceFS 在最新的1.2版本中增加了直連 NFS 功能，這一創新允許 JuiceFS 直接利用 NAS 上的 NFS 服務，而無需預掛載。 透過 JuiceFS 的直連 NFS 功能，使用者可以直接使用現有的 NAS 的儲存空間建立 JuiceFS 檔案系統，無需額外準備其他的物件儲存。

1. 直連 NFS 儲存的優勢

  • 免預先掛載：直接使用 NFS 作為 JuiceFS 的底層儲存，無需預先掛載，簡化了配置和管理。
  • 高效能：JuiceFS 透過快取和預讀等技術，提升了 NFS 儲存的效能，支援高併發讀寫。
  • 跨平臺共享：JuiceFS 能夠將 NFS 儲存轉換為分散式檔案系統，實現了跨平臺共享，不僅可以在 Linux、macOS、Windows 等作業系統上使用，還可以在 Hadoop、Kubernetes、Docker 等容器環境中使用。

2. JuiceFS 助力本地 AI 模型訓練

藉助 JuiceFS，使用者可以將訓練資料、模型檔案等儲存在現有的 NAS 上。藉助 JuiceFS 的分散式、高效能、高可用的特性，使用者可以在多個計算節點上同時訪問這些資料，提升 AI 模型訓練的效率。

在訓練機上，用可以戶透過 JuiceFS 掛載點、S3 Gateway、WebDAV、CSI Driver、Hadoop API 等多種方式訪問 NAS 上的資料，JuiceFS 會自動快取資料，提升訓練的效能。

JuiceFS 支援多種快取策略，可以根據不同的場景選擇合適的快取策略，提升訓練的效能。例如，可以使用 --cache-size 引數設定快取大小，使用 --cache-dir 引數指定快取目錄，使用 warmup 策略預讀資料等。
更多關於 JuiceFS 的快取策略，請參考官方文件。

3. 直連 NFS 建立 JuiceFS 檔案系統

使用直連 NFS 儲存建立 JuiceFS 檔案系統的過程十分簡單，只需在 NAS 或檔案伺服器上配置好 NFS 服務，然後在 JuiceFS 建立檔案系統時指定 NFS 儲存的地址即可。

例如，使用 NFSv3 協議的 NFS 儲存，在相同網路內任何安裝了 JuiceFS 客戶端的計算機上，透過以下命令建立 JuiceFS 檔案系統：

sudo juicefs format --storage nfs \
    --bucket 192.168.1.88:/data/nfs \
    redis://192.168.1.88/0 \
    myjfs

其中，--storage nfs 指定了使用 NFS 儲存，--bucket 指定了 NFS 儲存的地址，redis://192.168.1.88/0 指定了 Redis 作為後設資料儲存，myjfs 是檔案系統的名稱。

更多關於直連 NFS 儲存的內容，請參考官方文件。

4. 注意事項

在使用 NFS 作為儲存層建立 JuiceFS 檔案系統時，需要注意以下幾點：

  1. JuiceFS 暫不不支援 NFSv4 的身份認證機制，因此需要遵循 NFSv3 協議配置 NFS 儲存，在建立檔案系統時也無需指定 --access-key 和 --secret-key。
  2. 為了充分發揮 JuiceFS 的快取能力，建議在 JuiceFS 客戶端所在機器上準備充足的高速 SSD 空間作為快取裝置，以提升效能。
  3. NFS 預設採用 root_squash 機制，它會將 root 身份執行的操作對映為 nobody:nogroup，因此在 NFS 伺服器上需要配置好許可權，確保 JuiceFS 客戶端有許可權訪問 NFS 儲存。

5. 總結

JuiceFS v1.2.0 版本新增的直連 NFS 儲存功能，讓 JuiceFS 可以更好的與 NAS 配合使用，提升了 JuiceFS 對 NFS 的相容性，同時也為企業提供了更簡易的儲存解決方案。使用者可以利用現有的儲存資源在本地構建高效能、高可用的分散式檔案系統，為 AI 模型訓練、資料分析等場景提供更好的支援。

歡迎大家下載試用 JuiceFS v1.2.0 版本，體驗直連 NFS 建立檔案系統，為本地 AI 模型訓練提供強大動力！

相關文章