Linux系統中常見的分散式檔案系統推薦!

老男孩IT教育機構發表於2023-04-26

  在Linux系統中,常見的分散式檔案系統有很多種,比如:GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS、GlusterFS、Ceph、GlusterFS等。本文為大家簡單介紹幾個,希望對你們有用!

  1、GFS

  Google為滿足公司需求而開發的基於Linux的可擴充套件的分散式檔案系統,用於大型的、分散式的、對大資料進行訪問和應用,成本低,應用於廉價的普通硬體上,但不開源,暫不考慮。

  2、TFS

  阿里巴巴為滿足淘寶對小檔案儲存的需求而開發的一個可擴充套件、高可用、高效能、面向網際網路服務、開源的分散式檔案系統,主要針對海量的非結構化資料,它構築在普通的Linux機器叢集上,可為外部提供高可靠和高併發的儲存訪問。TFS為淘寶提供海量小檔案儲存,通常檔案大小不超過1M,這個也暫不考慮。

  3、HDFS

  hadoop分散式檔案系統,適合執行在通用硬體上做分散式儲存和計算,因為它具有高容錯性和可擴充套件性的特點,可部署在廉價的機器上,適合大資料的處理,在離線批次處理大資料上有先天的優勢。

  4、MooseFS

  MooseFS是來自波蘭的開源且具備冗餘容錯功能的分散式POSIX檔案系統,也是參照了GFS的架構,實現了巨大部分POSIX語義和API,它支援透過FUSE方式將檔案掛載操作,同時其提供的web管理介面非常方便檢視當前的檔案儲存狀態,對master伺服器有單點依賴,用perl編寫,用於中、大型檔案應用,但效能相對較差,由於可能會實時訪問所以暫不考慮。

  5、MogileFS

  MogileFS是一套高效開源的檔案自動備份元件,由Six Apart開發,廣泛應用在包括Live Journal等web2.0站點上。支援多節點冗餘,可實現自動的檔案複製。不需要RAID,應用層可以直接實現RAID,不共享任何東西,透過叢集介面提供服務工作於應用層,沒有特殊的元件要求。使用HTTP方式通訊。

  6、GridFS

  MongoDB是一種知名的nosql資料庫,GridFS是MongoDB的一個內建功能,它用於儲存和恢復那些超過16M的檔案,是檔案儲存的一種方式,但是它是儲存在MongoDB的集合中。它可以直接利用已建立的複製或分片機制,所以對於檔案儲存來說故障恢復和擴充套件都容易,且GridFS不產生磁碟碎片。

  7、MinIO

  MinIO是一個基於Apache License v2.0開源協議的物件儲存服務。它相容亞馬遜S3雲端儲存服務介面,非常適合於儲存大容量非結構化的資料,例如圖片、影片、日誌檔案、備份資料和容器/虛擬機器映象等,而一個物件檔案可以是任意大小,從幾kb到最大5T不等。它也是一個非常輕量的服務,可以很簡單的和其他應用的結合。MinIO的特色在於簡單、輕量級,對開發者友好,學習成本低,安裝運維簡單,開箱即用。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69952527/viewspace-2948904/,如需轉載,請註明出處,否則將追究法律責任。

相關文章