面向海量資料,一篇文章認識Ceph分散式儲存系統
Ceph是什麼?它是一個軟體定義的開源分散式物件儲存解決方案,面向PB級的海量資料儲存平臺。最初由Inktank於2012年開發,該公司在2014年被紅帽收購。隨著近幾年大資料的發展,因為在效能、可靠性和可擴充套件性方面具有優秀表現,Ceph在分散式儲存領域獲得了大量關注。
作為一個企業級開源平臺,Ceph可在標準經濟型伺服器和磁碟上提供統一的軟體定義儲存,將資料塊、物件、檔案的儲存組合到一個平臺,是一個可靠地、自動重均衡、自動恢復的分散式儲存系統。
在Ceph中,資料以物件的方式被儲存或處理,與通常透過扇區和扇區偏移量(通常稱為塊)向儲存卷寫入和讀取資料的傳統資料儲存解決方案不同。在處理大規模資料時,將資料作為物件進行處理是一種不錯的方法,而且也更容易管理。這種物件儲存方式使Ceph能夠實現簡化的可擴充套件性,從而輕鬆滿足使用者的需求。這些物件被複制到整個節點叢集中,使Ceph具有容錯能力,並進一步減少單點故障。
去年,Ceph社群釋出了對擦除編碼池(Erasure Coded pool)的支援,能夠用更少的空間實現儲存,但要在效能方面會造成一些不好的影響。另外,Ceph的設計中也包括自我糾錯和自我管理功能。
至於可訪問性方面,Ceph向使用者空間公開了三個介面。第一個是物件儲存。這個物件儲存可以透過RESTful介面訪問,支援OpenStack Swift和Amazon Simple Storage Service (S3)。透過這種方法,Web應用程式可以將直接PUT、GET和DELETE方法傳送到物件儲存區,無需重寫應用程式程式碼或擔心物件所儲存的位置。
第二個介面是一個稀疏分配的塊裝置。其目標是允許Ceph直接進入現有的計算環境,訪問檔案/塊卷的應用程式和虛擬環境時不需要重新架構,但仍然能夠利用Ceph提供的大多數特性、功能和彈性。Ceph基於物件的模型的優點是,塊裝置和檔案系統介面能夠很好地用於快照、克隆和更好的負載均衡支援。
第三個介面是檔案系統。雖然不管怎麼說檔案系統都會提供大量的可訪問性和功能塊裝置,但在Ceph實現中,內建的檔案系統確實刪除了塊裝置層(減少總堆疊層的數量)而且能夠直接連線到物件儲存後端。這確實簡化了維護和除錯。
Ceph架構圖
Ceph完全由命令列管理。Red Hat透過一個名為Calamari的基於Web的使用者管理介面重發布了Ceph,Calamari簡化了一般的Ceph管理。它附帶了一個伺服器和客戶端元件,客戶端元件提供基於Web的儀表盤。它透過RESTful API直接與伺服器通訊。
雖然Ceph本身解決了行業內的許多問題,尤其是如何管理和縮放資料,但資料管理難題不止這些。Ceph被設計用來處理兩件事:1、它透過跨節點叢集分佈資料(複製或擦除編碼)來支援容錯;2、它提供使用者對相同資料的訪問。上面和下面發生的事情完全取決於儲存管理員。例如,在Ceph框架下,硬體是如何監控的?如何檢測和糾正驅動器故障?在框架之上,如何匯出塊和檔案系統卷?如何啟用這些相同卷的高可用性?
這就是軟體重發布方的價值所在。如Red Hat、SUSE、Canonical (Ubuntu)等供應商,會將所有這些部分結合在一起,並將它們統一在一個管理空間中。為了增加產品的可信度,資料儲存行業的許多大公司都加入了Ceph的行列,包括SanDisk、SolidFire(現在是NetApp的一部分)等等,這些供應商都以某種形式使用了Ceph。
不難看到,Ceph很可能會有一個非常光明的未來。當然,像其他任何資料儲存解決方案一樣,它無法滿足一切資料儲存需求,但它既然已經出現且獲得了大量的認可,說明它有很強的競爭力。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31545805/viewspace-2217636/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 在 CentOS 7.1 上安裝分散式儲存系統 CephCentOS分散式
- 分散式儲存ceph 物件儲存配置zone同步分散式物件
- 滴滴Ceph分散式儲存系統優化之鎖優化分散式優化
- Ceph分散式儲存技術解讀分散式
- 分散式儲存ceph之快速安裝分散式
- 分散式系統技術:儲存之資料庫分散式資料庫
- 面向不同需求的物件儲存系統對比:Ceph與Swift物件Swift
- 滴滴Ceph分散式儲存系統最佳化之鎖最佳化分散式
- 大資料儲存系統對比:Ceph VS Gluster大資料
- Ceph分散式儲存-運維操作筆記分散式運維筆記
- CEPH分散式儲存搭建(物件、塊、檔案三大儲存)分散式物件
- 分散式系統中的資料儲存方案實踐分散式
- 【大資料】BigTable分散式資料儲存系統分散式資料庫 | 複習筆記大資料分散式資料庫筆記
- 分散式儲存架構知識,一篇講清楚!分散式架構
- 分散式儲存Ceph之PG狀態詳解分散式
- Ceph分散式儲存叢集-硬體選擇分散式
- 分散式系統中資料儲存方案實踐分散式
- ceph_deploy部署ceph分散式檔案系統分散式
- docker筆記39-ceph分散式儲存的搭建Docker筆記分散式
- Ceph分散式儲存-原理介紹及簡單部署分散式
- Bayou複製分散式儲存系統分散式
- 分散式檔案系統HDFS,大資料儲存實戰(一)分散式大資料
- IM系統海量訊息資料是怎麼儲存的?
- 海量圖片儲存,杉巖分散式物件儲存輕鬆應對分散式物件
- 效能提升超17%!杉巖資料分散式儲存系統獲華為鯤鵬Validated認證分散式
- 360自研分散式海量小檔案儲存系統的設計與實現分散式
- 淺談分散式儲存系統的資料分佈演算法分散式演算法
- 杉巖海量圖片分散式儲存解決方案分散式
- 雲端儲存及其分散式檔案系統分散式
- Centos7下使用Ceph-deploy快速部署Ceph分散式儲存-操作記錄CentOS分散式
- 分散式儲存系統可靠性:系統量化估算分散式
- 資料儲存--面向列的儲存設計
- 分散式儲存系統可靠性如何估算?分散式
- 分散式儲存與傳統網路儲存系統相比有哪些區別分散式
- 分散式資料恢復-hbase+hive分散式儲存資料恢復方案分散式資料恢復Hive
- 星環科技多模型資料統一儲存的大資料分散式儲存平臺方案分享模型大資料分散式
- 海量資料儲存之動態SchemaOU
- Kubernetes中分散式儲存Rook-Ceph部署快速演練分散式