在2019年3月的北京雲棲峰會上,阿里雲正式推出全球首個雲原生HDFS儲存服務—檔案儲存HDFS,為資料分析業務在雲上提供可線性擴充套件的吞吐能力和免運維的快速彈性伸縮能力,降低使用者TCO。阿里雲檔案儲存HDFS的釋出真正解決了HDFS檔案系統不適應雲上場景的缺陷問題,使用者無須花費精力維護和優化底層儲存。
雲時代,通過藉助虛擬化技術,大資料分析的計算框架在雲上逐漸實現了快速部署和彈性伸縮。但是作為資料底座的HDFS檔案系統,它在設計之初並沒有考慮到上雲場景。其資料的擴縮容、故障硬體排除都依賴大量手工運維,因此其服務質量難以保證。在隨著其他計算引擎一起彈性部署時,HDFS會成為整個計算框架的短板,限制了業務的整體彈性伸縮能力,增加了規劃和運維難度。
為響應使用者在雲上使用HDFS的訴求,檔案儲存HDFS應運而生。產品設計方面,得益於檔案儲存HDFS相容標準Hadoop檔案介面,基於HDFS進行開發的分析服務無須進行改造即可直接連線檔案儲存HDFS進行資料分析,可作為serverless計算架構的後端資料引擎。使用者無須花費精力維護和優化底層儲存,聚焦在計算和業務本身。
使用者場景方面,檔案儲存HDFS的多租戶和許可權控制能力可以有效支撐企業內部多業務資料管理的場景。使用者可以將生產叢集的資料直接寫入檔案儲存HDFS,也可以將儲存在自建HDFS、阿里雲OSS、檔案儲存NAS中的資料匯入到檔案儲存HDFS,再利用Spark/Mapreduce/Flink/Hive/Tensoflow等不同的分析框架對檔案儲存HDFS上的資料進行處理,處理結果可以按需輸出到不同的系統中。廣泛用於實時統計與分析、離線使用者畫像、實時分析、機器學習等業務場景中。
技術能力方面,作為聚焦大資料分析場景的雲端儲存產品,檔案儲存HDFS針對計算中最關注的吞吐效能進行了軟硬一體的優化,提供遠超自建HDFS的吞吐能力。在模擬離線分析場景的Terasort測試中,在使用同等數量的CPU和記憶體的情況下,用檔案儲存HDFS替代HDFS可以使整體的分析效能提升一倍。
本文為雲棲社群原創內容,未經允許不得轉載。