大咖齊聚SACC:共論分散式儲存的演進之道

儲存頻道發表於2018-10-22

   10月17日到19日,由IT168旗下ITPUB企業社群平臺主辦的第十屆中國系統架構師大會(SACC 2018)在北京隆重舉行。本屆大會主題為“十年架構,成長之路”,聚集了上千名CTO、研發總監、高階系統架構師、開發工程師和IT經理等技術人,共同展開IT技術領域的深度分享與問題探討。

  在17日下午的“主線1:分散式儲存與中介軟體設計”分論壇上,多位來自知名廠商及網際網路公司的IT負責人、技術專家現身說法,分享了各自在分散式儲存方面的技術實踐經驗,並現場為大家答疑解惑,探討技術問題。

  滴滴出行正為數億名使用者提供著包括快車、專車、計程車在內的多種出行和運輸服務,日訂單已達3000萬。在這樣一個龐大的業務規模下,儲存自然成為一個重大的問題。滴滴物件儲存系統當前已儲存百億級檔案,PB級資料。

滴滴出行高階技術專家汪黎

  在論壇上,滴滴出行高階技術專家、滴滴雲端儲存研發負責人汪黎進行了《滴滴物件儲存系統的架構演進實踐》主題演講,介紹了滴滴物件儲存系統隨著業務規模的增大,業務需求的改變,其架構的演進過程和設計考慮。

  第二位進行分享的是京東商城線上儲存部負責人丁俊,介紹了京東K-V儲存產品從記憶體儲存到持久化儲存,從持久化儲存到基於K-V持久化儲存開發的分散式鎖、配置分發產品。據介紹K-V儲存體系下包含記憶體儲存-jimdb、持久化儲存-sharkstore以及混合儲存三大部分。

京東商城線上儲存部負責人丁俊

  三大部分具有各自不同的特性,記憶體儲存主要表現為高吞吐、低延遲,擁有線上伸縮、自動故障恢復以及廣域複製等功能;持久化儲存具有分散式強一致,支援線上分裂、自動故障恢復,支援schema、海量資料,支援範圍查詢、單表操作等核心特性;混合儲存可實現冷熱資料儲存分離,提供記憶體級別的效能體驗,磁碟級別的儲存容量。

  在把大量原始資料轉化為有用資訊和行動的所用時間減少到零的需求驅動下,流媒體技術開始變得流行起來:在資料到達時,即時地、連續地、無限地處理資料。從工業物聯網到聯網汽車,再到實時欺詐檢測等等,需要快速響應使用者行為的應用程式越來越廣泛。但我們目前使用的元件並不是為這些應用設計的,而且其作用機制不會實現從小到大的擴充套件,基本系統設計的不匹配帶來了更高的複雜度。

Streamlio聯合創始人郭斯傑

  流是難以擴充套件的,因為它假定了許多破壞性的系統功能,例如將資料視為連續的和無限的,而不是有限的和靜態的,透過動態擴充套件服務、儲存和計算能力,以協調到達的資料量,交付一致的快速結果的能力。那麼,對於流媒體,我們到底需要什麼分散式儲存呢?Streamlio聯合創始人郭斯傑在論壇上帶來了《從檔案儲存,物件儲存到流儲存 - 重新思考流計算時代的分散式儲存》主題演講,探討了用例驅動下的分散式儲存系統的演變,以及流媒體世界對分散式儲存的需求。此外,郭斯傑老師還使用Apache Pulsar/BookKeeper作為示例,討論瞭如何設計此類系統應對挑戰。

  最後一位進行技術分享的是來自阿里雲的資深技術專家徐立,他是阿里雲檔案儲存的產品和研發負責人,擁有近十年的阿里雲飛天分散式儲存系統的架構和研發經驗。徐立的演講主題為《新一代Cloud Native檔案儲存的分散式架構演進之路》,他從協議多樣性、安全可靠、高效能和共享、彈性易用、企業級特性、生態創新6個維度介紹了當下新一代檔案儲存技術架構演進變革之路。

阿里雲資深技術專家徐立

  據徐立介紹,新一代Cloud Native檔案儲存的主要特性包括:簡單易用——完全託管,即開即用,只需掛載標準的檔案協議;彈性使用——按需使用,無縫擴容;高可擴充套件——容量、效能水平擴充套件,面向網際網路分散式架構;高效能——效能和容量線性相關,低延時、高IOPS、高吞吐。阿里雲檔案儲存,可提供簡單、快速、高效的資料遷移能力,擁有多種資料接入方式以及最佳掛載方式,透過訪問行為視覺化的雲監控功能和簡單易用、完全託管、可靠安全的備份功能,幫助使用者完成端到端的最佳實踐。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31545805/viewspace-2217122/,如需轉載,請註明出處,否則將追究法律責任。

相關文章