杉巖物件儲存當底座，IPFS：這下穩了

IPFS是InterPlanetary File System（星際檔案系統）的簡稱，是一個旨在建立持久且分散式儲存和共享檔案的網路傳輸協議。IPFS網路中的節點構成了一個分散式檔案系統，它為使用者提供了一個支援部署和寫入的平臺，同時能夠支援大檔案的分發和版本管理。

一、IPFS試圖解決什麼問題？

IPFS是對中心化儲存的一種補充，具有去中心化、資料不可篡改、全程留痕、可以追溯、集體維護、公開透明的特點。其目標是透過建立對等的分散式檔案系統，為資料儲存服務的需求者提供一個高吞吐量、按內容定址的塊儲存模型，及與內容相關的超連結。分散式內容傳遞可以節約頻寬，和防止HTTP可能遇到的DDoS攻擊。

相較於中心化儲存（基於HTTP構建的雲端儲存），IPFS解決了下載速度慢、儲存成本高、修復能力不足以及資料隱私安全等問題，且不存在單點故障，網路節點之間不需要相互信任，安全性和可靠性更高。

二、IPFS如何保證使用者資料被安全地儲存？

從資料存取的角度來看，IPFS的做法是：檔案被使用者上傳時，會切割成N個加密碎片，分散儲存在供應方（礦工）提供的儲存空間中，在下載時再合成為完整的原始檔；透過一種共識機制（複製證明PoRep和時空證明PoSt）來確保正確的資料在正確的時間被有效儲存且未被篡改，以保障安全、公開、透明；據此，系統也會得出礦工的實際貢獻值，提供對等的報酬。

圖1.IPFS透過共識機制確保資料安全

整體流程大致如下：當使用者上傳原始資料後，礦工向主鏈提交交易證明並獲取出塊權，之後按照規則將資料裝入扇區繼而封裝成標準大小（32GB）的資料塊；在封裝過程中會進行復制證明並提交給主鏈，以證明礦工確實儲存了使用者要求儲存的資料；資料封裝後，系統會按照資料的儲存期限，每隔一段時間（一般是半小時一次）執行時空證明，以證明礦工確實在規定時間記憶體儲了準確的資料。

三、IPFS需要高度匹配的儲存能力

在執行證明的過程中，需要強大的算力支撐，這既包括對原始資料的封裝處理、對證明資料的高效運算，還包括對封裝資料的及時寫入、對證明資料的檢索抽取。這對儲存也提出了嚴苛的要求，主要特點如下。

圖2.證明過程中計算與儲存高頻互動

1.超大容量

IPFS要求資料持續可讀，歷史資料永久儲存。一般週資料增量為PB級，年增量可達百PB級甚至EB級。

2.高吞吐

IPFS寫入模型是大檔案併發寫入，儲存叢集至少要提供100Gbps以上的吞吐量，以保證封裝資料的寫入效率。

3.隨機讀

在時空證明階段，每天完成一次全量證明（分48次進行，每半小時就要完成一個SHARD的證明），均是小資料塊隨機讀，要求儲存提供極高的隨機讀取效率。

4.高效運維

數百PB甚至EB級的海量空間，必然由大規模叢集來支撐，高效運維、降低人力成本同樣是剛需。

5.兼顧安全與低成本

除了IPFS原有的雜湊去重和加密演算法，儲存叢集也需要提供低成本的安全保護策略。業內廠商多采用高價效比的糾刪碼方案，在保證資料高可用的同時，儘可能降低總體成本。

四、MOS物件儲存為IPFS打造堅實底座

從前文的描述中不難看出，選擇合適的儲存底座無疑能給IPFS帶來強有力支撐。杉巖MOS物件儲存憑藉海量、高效能、智慧化、低成本等優勢，為IPFS場景提供了極佳的儲存底座。

圖3.基於MOS打造強大的儲存底座

1.EB級彈性擴充套件，300 Gbps吞吐能力

MOS可提供單一名稱空間的EB級資源池，以及超過300 Gbps的吞吐能力；由於計算與儲存分離，儲存叢集可獨立擴充套件，靈活響應業務變化。

2.空間利用率超90%，成本節約超過50%

為了滿足資料高可用和低成本的要求，MOS採用22+2的糾刪碼技術，將空間利用率提升到了90%以上，相較於3副本策略，硬體成本縮減超過50%。

3.15秒讀完一個Partition

針對IPFS高頻隨機讀的特點，MOS也進行了效能最佳化，可將數百次隨機讀請求合併為一個請求，將讀取效率提升了數倍，每15秒即可讀完一個Partition。

4.管理超大規模叢集僅需1-2人

MOS提供視覺化管理和智慧化運維，故障自動監測和即時申報；透過多故障域隔離和智慧DNS分配技術，幫助運維人員輕鬆管控超大規模叢集，在提升資料可靠性的同時降低運維複雜度，節省人力成本。

“工欲善其事，必先利其器。”IPFS需要強大的雲算力，除了部署強大的算力叢集，選好儲存同樣重要。杉巖已順利交付IPFS專案，實踐證明，MOS物件儲存值得這份信賴。