juicefs:一個基於Redis和雲物件儲存的分散式POSIX檔案系統
JuiceFS是基於Redis和雲物件儲存構建的開源POSIX檔案系統,針對雲本機環境進行了設計和優化。通過使用廣泛採用的Redis和S3作為永續性儲存,JuiceFS可以用作無狀態中介軟體,以使許多應用程式輕鬆共享資料。
突出的功能是:
- 完全相容POSIX:JuiceFS是完全相容POSIX的檔案系統。現有的應用程式可以直接使用它。請參閱下面的pjdfstest結果。
- 出色的效能:延遲可以低至幾毫秒,並且吞吐量可以擴充套件到幾乎無限。請參閱下面的基準測試結果。
- Cloud Native:通過利用雲物件儲存,您可以擴充套件儲存和獨立計算(也稱為分解儲存和計算架構)。
- 共享:JuiceFS是一個共享檔案儲存,可以由許多客戶端讀取和寫入。
- 全域性檔案鎖:JuiceFS支援BSD鎖(flock)和POSIX記錄鎖(fcntl)。
- 資料壓縮:預設情況下,JuiceFS使用LZ4壓縮所有資料,也可以使用Zstandard。
JuiceFS依靠Redis來儲存檔案系統後設資料。Redis是一種快速的開源記憶體中鍵值資料儲存,非常適合儲存後設資料。所有資料將通過JuiceFS客戶端儲存到物件儲存中。
支援的物件儲存
- 亞馬遜S3
- 谷歌雲端儲存
- Azure Blob儲存
- 阿里雲物件儲存服務(OSS)
- 騰訊雲物件儲存(COS)
- QingStor物件儲存
- Ceph RGW
- MinIO
- 本地磁碟
- redis
相關文章
- 分散式檔案系統和物件儲存魔力象限,右上角都有誰?分散式物件
- 雲端儲存及其分散式檔案系統分散式
- CEPH分散式儲存搭建(物件、塊、檔案三大儲存)分散式物件
- 必須掌握的分散式檔案儲存系統—HDFS分散式
- 分散式檔案系統HDFS,大資料儲存實戰(一)分散式大資料
- Redis 分散式儲存Redis分散式
- 基於Raft的分散式MySQL Binlog儲存系統開源Raft分散式MySql
- 分散式檔案儲存系統 fastdfs 的 Composer 包釋出!分散式AST
- 基於 NVMe SSD 的分散式檔案儲存 UFS 效能提升技術解析分散式
- 雲知聲: 基於 JuiceFS 的超算平臺儲存實踐UI
- 基於滴滴雲搭 SeaweedFS 儲存系統
- 基於Redis實現一個分散式鎖Redis分散式
- Hadoop 三劍客之 —— 分散式檔案儲存系統 HDFSHadoop分散式
- 基於內容定址的分散式儲存系統IPFS,你怎麼看?分散式
- python如何分散式儲存檔案?Python分散式
- Hadoop基礎(一):分散式檔案系統HDFSHadoop分散式
- 04 磁碟儲存和檔案系統
- GFS分散式檔案系統、結合實驗分析各種儲存卷的特點。深入刨析分散式儲存的方式。分散式
- 塊儲存 檔案儲存 物件儲存物件
- Cassandra - 一個分散的結構化儲存系統
- 物件儲存 vs 檔案儲存 vs 塊儲存,選哪個?物件
- DAOS 分散式非同步物件儲存|儲存模型分散式非同步物件模型
- 分散式儲存ceph 物件儲存配置zone同步分散式物件
- 如何藉助分散式儲存 JuiceFS 加速 AI 模型訓練分散式UIAI模型
- 將座標系統儲存為一個檔案.prj
- 分散式檔案儲存FastDFS(三)FastDFS配置分散式AST
- 分散式檔案系統分散式
- Bayou複製分散式儲存系統分散式
- 基於MFS高可用的分散式儲存架構分散式架構
- 一種redis命令搞定基於redis的分散式鎖Redis分散式
- 【分散式架構】(10)---基於Redis元件的特性,實現一個分散式限流分散式架構Redis元件
- 基於 Redis 的分散式鎖Redis分散式
- 基於redis的分散式鎖Redis分散式
- 360自研分散式海量小檔案儲存系統的設計與實現分散式
- Ceph:一個 Linux PB 級分散式檔案系統Linux分散式
- 分散式檔案儲存FastDFS(七)FastDFS配置檔案詳解分散式AST
- 基於 Redis 分散式鎖Redis分散式
- 用Akka構建一個簡易的分散式檔案系統分散式