Linux系統中常見的分散式檔案系統推薦!
在Linux系統中,常見的分散式檔案系統有很多種,比如:GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS、GlusterFS、Ceph、GlusterFS等。本文為大家簡單介紹幾個,希望對你們有用!
1、GFS
Google為滿足公司需求而開發的基於Linux的可擴充套件的分散式檔案系統,用於大型的、分散式的、對大資料進行訪問和應用,成本低,應用於廉價的普通硬體上,但不開源,暫不考慮。
2、TFS
阿里巴巴為滿足淘寶對小檔案儲存的需求而開發的一個可擴充套件、高可用、高效能、面向網際網路服務、開源的分散式檔案系統,主要針對海量的非結構化資料,它構築在普通的Linux機器叢集上,可為外部提供高可靠和高併發的儲存訪問。TFS為淘寶提供海量小檔案儲存,通常檔案大小不超過1M,這個也暫不考慮。
3、HDFS
hadoop分散式檔案系統,適合執行在通用硬體上做分散式儲存和計算,因為它具有高容錯性和可擴充套件性的特點,可部署在廉價的機器上,適合大資料的處理,在離線批次處理大資料上有先天的優勢。
4、MooseFS
MooseFS是來自波蘭的開源且具備冗餘容錯功能的分散式POSIX檔案系統,也是參照了GFS的架構,實現了巨大部分POSIX語義和API,它支援透過FUSE方式將檔案掛載操作,同時其提供的web管理介面非常方便檢視當前的檔案儲存狀態,對master伺服器有單點依賴,用perl編寫,用於中、大型檔案應用,但效能相對較差,由於可能會實時訪問所以暫不考慮。
5、MogileFS
MogileFS是一套高效開源的檔案自動備份元件,由Six Apart開發,廣泛應用在包括Live Journal等web2.0站點上。支援多節點冗餘,可實現自動的檔案複製。不需要RAID,應用層可以直接實現RAID,不共享任何東西,透過叢集介面提供服務工作於應用層,沒有特殊的元件要求。使用HTTP方式通訊。
6、GridFS
MongoDB是一種知名的nosql資料庫,GridFS是MongoDB的一個內建功能,它用於儲存和恢復那些超過16M的檔案,是檔案儲存的一種方式,但是它是儲存在MongoDB的集合中。它可以直接利用已建立的複製或分片機制,所以對於檔案儲存來說故障恢復和擴充套件都容易,且GridFS不產生磁碟碎片。
7、MinIO
MinIO是一個基於Apache License v2.0開源協議的物件儲存服務。它相容亞馬遜S3雲端儲存服務介面,非常適合於儲存大容量非結構化的資料,例如圖片、影片、日誌檔案、備份資料和容器/虛擬機器映象等,而一個物件檔案可以是任意大小,從幾kb到最大5T不等。它也是一個非常輕量的服務,可以很簡單的和其他應用的結合。MinIO的特色在於簡單、輕量級,對開發者友好,學習成本低,安裝運維簡單,開箱即用。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69952527/viewspace-2948904/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Linux系統中常見的檔案系統有哪些?Linux
- 分散式檔案系統(HDFS)與 linux系統檔案系統 對比分散式Linux
- 分散式檔案系統分散式
- HDFS分散式檔案系統分散式
- 分散式檔案系統-HDFS分散式
- 分散式檔案系統---GlusterFS分散式
- FastDFS分散式檔案系統AST分散式
- cephFS分散式檔案系統操作分散式
- FastDFS-分散式檔案系統AST分散式
- 分散式檔案系統之 FastDFS分散式AST
- Linux系統中常用的檔案檢視命令Linux
- 常見開源分散式檔案系統架構對比分散式架構
- 部署GPS分散式檔案系統分散式
- GFS分散式檔案系統部署解析分散式
- 01_FastDFS分散式檔案系統AST分散式
- 分散式檔案系統(FastDFS)叢集分散式AST
- 分散式檔案系統FastDFS詳解分散式AST
- 分散式系統中常見技術解決的問題是什麼?分散式
- Ceph:一個 Linux PB 級分散式檔案系統Linux分散式
- Linux 建立檔案系統及掛載檔案系統詳解一薦Linux
- 推薦2款檔案系統中查詢檔案的工具
- 分散式機器學習框架與高維實時推薦系統分散式機器學習框架
- 大資料 | 分散式檔案系統 HDFS大資料分散式
- 輕量級分散式檔案系統fastDFS分散式AST
- 分散式檔案系統(FastDFS)安裝 配置分散式AST
- 雲端儲存及其分散式檔案系統分散式
- Linux系統篇-檔案系統&虛擬檔案系統Linux
- 推薦系統
- HDFS架構指南(分散式系統Hadoop的檔案系統架構)架構分散式Hadoop
- 【推薦系統篇】--推薦系統之訓練模型模型
- 分散式檔案系統之MogileFS的安裝使用分散式
- 分散式系統2:分散式系統中的時鐘分散式
- 1-3 常見的分散式系統分散式
- 分散式系統:系統模型分散式模型
- Hadoop 系列(一)—— 分散式檔案系統 HDFSHadoop分散式
- AspNetCore分散式檔案上傳系統NetCore分散式
- 分散式檔案系統之FastDFS安裝部署分散式AST
- FASTDFS開源分散式檔案系統介紹AST分散式