不要Ceph，青雲自己做了一套QingStor檔案儲存系統

常見的儲存有三種型別，SAN塊儲存，物件儲存還有NAS檔案儲存，分別對應熱資料，冷資料和溫資料，一套完整的企業儲存體系中三者缺一不可，2018年7月27日的青雲Cloud Insight 2018雲端計算峰會上，青雲釋出了QingStor檔案系統，補充和完善了QingStor儲存產品線。

青雲既是雲服務廠商，也是企業級ICT服務商，QingStor儲存產品線的佈局很好地反應了青雲的這種特殊性。

QingStor的發展歷程中，先是有了話題熱度最高的物件儲存，網際網路公司用的比較多，單位容量價格低，效能較低，安全性高。而後在2017年釋出了熱度僅次於物件儲存的ServerSAN儲存——NeonSAN，強調高效能和低延時，支援真正的水平擴充套件，主要用於核心業務。SAN和NAS則非常企業級，企業級儲存公司主要做的就是這兩大塊，今天終於輪到了NAS檔案儲存。

用過電腦的人都知道什麼是檔案儲存，簡單而言，你開啟電腦其實用到了檔案系統，在硬碟上找檔案就是在用檔案系統了，只是因為硬碟大小非常，一般人一塊硬碟也就夠了，可企業裡資料非常多，別說單臺電腦了，單臺伺服器也經常不夠用，所以當資料非常多的時候就需要額外的儲存空間了，常見的做法是用網路連線一臺專門做儲存的機器，常用的裝置就是NAS（Network Attached Storage網路附加儲存），NAS在一定程度上是檔案儲存的代名詞。

很多人都有體會，因為檔案多了檔案查詢的效率就會明顯下降，開啟電腦找個檔案硬碟咯吱咯吱響，檔案找的很慢，NAS一般來說效能都比較高，另外，檔案不能丟失或者損壞，所以還要有各種資料保護措施，傳統大型儲存公司如NetApp，EMC都有出色的NAS產品，NAS是很貴的，主要是基於硬體的，做個NAS門檻是很高的，很多企業就靠一款成功的NAS產品便在市場上佔據了很高的地位，這是一塊大市場。

由於大家都或多或少地知道檔案儲存的應用場景，所以說明檔案儲存很普遍，需求非常大，Gartner的分析報告說，檔案儲存在市場中佔主流地位，在媒體、高效能運算領域都會用到。

NAS通常來說是Scaleup型別的，也就是主要靠單臺專有裝置的實力，效能很高但也有限，擴充套件很難，產品設計的中心完全以硬體為核心。後來出現帶來分散式的檔案系統，檔案儲存的核心轉向以分散式儲存軟體為核心，常見的分散式檔案系統有兩種：一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構；一種是全對等Hash架構，完全拋棄單獨的索引節點，其代表是GLuster和Ceph。

青雲QingCloud儲存高階技術專家寧安表示，集中式的索引架構問題在於擴充套件擴容不方便，一致性較差，全隊等的Hash架構缺點在於檔案數量會受到單節點和索引節點容量限制。雖然有種種問題，但是因為分散式檔案系統通常是開源的，跟原來的封閉的集中式NAS截然不同，而且硬體是基於x86的成本會低出很多，所以，分散式儲存越來越流行，近年來，隨著開源社群在中國的發展，在分散式檔案儲存系統中Ceph的呼聲最高。

這些缺點有四個方面：資料一致性問題，高可用問題，還有擴充套件性的問題，運維也比較複雜。另外，Ceph的效能問題也廣受詬病，在種種問題面前，青雲最後還是決定自己做研發，參考一些開源的分散式檔案系統的做法自己研發出了一套分散式檔案系統，分散式檔案儲存系統非常複雜。

為了應對這些問題，QingStor檔案儲存有以下幾個特點呢？

首先，QingStor的底層基於分散式塊儲存NeonSAN，NeonSAN是有高效能、強一致的塊儲存。這使得QingStor的塊儲存和檔案儲存能做到更好的融合，兩者共享一個儲存池，可以分開管理，底層共用一套裝置，如果追求效能和可靠性的話最好還是單獨部署，NeonSAN的使用者可以直接部署新的檔案儲存。

第二，支援無限水平擴充套件。目錄和檔案分離儲存，後設資料層儲存索引目錄，用來定位檔案具體位置；控制層負責下層塊裝置的空間分配和事務管理。寧安介紹說，用Ceph的企業需要一批很懂Ceph的工程師，Ceph在一定資料規模之後會出現許多問題，經常要處理很多壞盤、遷移和擴容的問題，這些問題只有在資料規模很大時才會暴露出來，但這時候已經晚了。

第三，並行處理架構。所有閘道器節點和NeonSAN節點是全互聯的關係，節點間可通過最短路徑相互訪問。叢集內資料複製與業務訪問分離，分別通過不同的網路，因此在資料遷移和擴容時，不會對業務有任何影響。

QingStor分散式檔案儲存的企業級特性非常全面。

其中，通過釣電安全、防篡改、資料加密等手段來提升資料安全性；通過分散式事務加上版本修改的機制實現了強一致性；通過服務無單點、資料無單點、網路無單點，三點來支援高可用；通過NeonSAN的支援來實現高效能。

與Ceph的效能對比

在彈性擴充套件方面，QingStor檔案儲存擴容更隨意，不用像Ceph一樣每次只能擴容一個節點，擴容跟資料遷移量成正比，擴容的過程中，QingStor檔案儲存沒有強制使用者遷移資料，擴容過程中對寫入沒有影響，使用者可選擇在任意時間進行資料遷移，使用者可以操控資料遷移的過程。

在成本方面，通過智慧的壓縮，自動精簡配置，儲存分層等手段來提升儲存空間利用率，從而優化成本。QingStor檔案儲存支援對檔案型別判斷後做壓縮，如果是文字檔案的話就重點壓縮，反正也不影響解壓後正常使用，如果是音視訊檔案的話壓縮會有損失，寫入的時候就不壓縮了。

部署方面，QingStor最小三節點起步，使用者可利用現有的交換機去部署TCP/IP網路，內部資料通過RDMA來實現低延遲的資料服務操作。

在實際使用的時候，QingStor支援NFS、Samba協議和FUSE模組載入方式，因為檔案儲存本來就是服務於常見的應用的，所以與原來的應用沒有相容性問題，像是OA這種傳統應用完全沒問題，Hadoop、Spark等大資料分析也都沒問題，視訊剪輯，3D渲染，高效能運算等場景下都可以用。另外，青雲最新推出的Anybox也是支援將QingStor檔案儲存用作儲存後端，效能會更好一些。