大咖齊聚SACC:共論分散式儲存的演進之道
10月17日到19日,由IT168旗下ITPUB企業社群平臺主辦的第十屆中國系統架構師大會(SACC 2018)在北京隆重舉行。本屆大會主題為“十年架構,成長之路”,聚集了上千名CTO、研發總監、高階系統架構師、開發工程師和IT經理等技術人,共同展開IT技術領域的深度分享與問題探討。
在17日下午的“主線1:分散式儲存與中介軟體設計”分論壇上,多位來自知名廠商及網際網路公司的IT負責人、技術專家現身說法,分享了各自在分散式儲存方面的技術實踐經驗,並現場為大家答疑解惑,探討技術問題。
滴滴出行正為數億名使用者提供著包括快車、專車、計程車在內的多種出行和運輸服務,日訂單已達3000萬。在這樣一個龐大的業務規模下,儲存自然成為一個重大的問題。滴滴物件儲存系統當前已儲存百億級檔案,PB級資料。
滴滴出行高階技術專家汪黎
在論壇上,滴滴出行高階技術專家、滴滴雲端儲存研發負責人汪黎進行了《滴滴物件儲存系統的架構演進實踐》主題演講,介紹了滴滴物件儲存系統隨著業務規模的增大,業務需求的改變,其架構的演進過程和設計考慮。
第二位進行分享的是京東商城線上儲存部負責人丁俊,介紹了京東K-V儲存產品從記憶體儲存到持久化儲存,從持久化儲存到基於K-V持久化儲存開發的分散式鎖、配置分發產品。據介紹K-V儲存體系下包含記憶體儲存-jimdb、持久化儲存-sharkstore以及混合儲存三大部分。
京東商城線上儲存部負責人丁俊
三大部分具有各自不同的特性,記憶體儲存主要表現為高吞吐、低延遲,擁有線上伸縮、自動故障恢復以及廣域複製等功能;持久化儲存具有分散式強一致,支援線上分裂、自動故障恢復,支援schema、海量資料,支援範圍查詢、單表操作等核心特性;混合儲存可實現冷熱資料儲存分離,提供記憶體級別的效能體驗,磁碟級別的儲存容量。
在把大量原始資料轉化為有用資訊和行動的所用時間減少到零的需求驅動下,流媒體技術開始變得流行起來:在資料到達時,即時地、連續地、無限地處理資料。從工業物聯網到聯網汽車,再到實時欺詐檢測等等,需要快速響應使用者行為的應用程式越來越廣泛。但我們目前使用的元件並不是為這些應用設計的,而且其作用機制不會實現從小到大的擴充套件,基本系統設計的不匹配帶來了更高的複雜度。
Streamlio聯合創始人郭斯傑
流是難以擴充套件的,因為它假定了許多破壞性的系統功能,例如將資料視為連續的和無限的,而不是有限的和靜態的,透過動態擴充套件服務、儲存和計算能力,以協調到達的資料量,交付一致的快速結果的能力。那麼,對於流媒體,我們到底需要什麼分散式儲存呢?Streamlio聯合創始人郭斯傑在論壇上帶來了《從檔案儲存,物件儲存到流儲存 - 重新思考流計算時代的分散式儲存》主題演講,探討了用例驅動下的分散式儲存系統的演變,以及流媒體世界對分散式儲存的需求。此外,郭斯傑老師還使用Apache Pulsar/BookKeeper作為示例,討論瞭如何設計此類系統應對挑戰。
最後一位進行技術分享的是來自阿里雲的資深技術專家徐立,他是阿里雲檔案儲存的產品和研發負責人,擁有近十年的阿里雲飛天分散式儲存系統的架構和研發經驗。徐立的演講主題為《新一代Cloud Native檔案儲存的分散式架構演進之路》,他從協議多樣性、安全可靠、高效能和共享、彈性易用、企業級特性、生態創新6個維度介紹了當下新一代檔案儲存技術架構演進變革之路。
阿里雲資深技術專家徐立
據徐立介紹,新一代Cloud Native檔案儲存的主要特性包括:簡單易用——完全託管,即開即用,只需掛載標準的檔案協議;彈性使用——按需使用,無縫擴容;高可擴充套件——容量、效能水平擴充套件,面向網際網路分散式架構;高效能——效能和容量線性相關,低延時、高IOPS、高吞吐。阿里雲檔案儲存,可提供簡單、快速、高效的資料遷移能力,擁有多種資料接入方式以及最佳掛載方式,透過訪問行為視覺化的雲監控功能和簡單易用、完全託管、可靠安全的備份功能,幫助使用者完成端到端的最佳實踐。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31545805/viewspace-2217122/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 大咖齊聚SACC2018:共論資料架構設計之美架構
- 2021 SDC | 圓桌會談-業內大咖齊聚,共話新安全
- Gartner:浪潮儲存進入分散式儲存前三分散式
- 分散式儲存的六大優點分散式
- 【論文略讀】分散式儲存 DAY1分散式
- CEPH分散式儲存搭建(物件、塊、檔案三大儲存)分散式物件
- Kubernetes中分散式儲存Rook-Ceph部署快速演練分散式
- HDFS分散式儲存分散式
- Redis 分散式儲存Redis分散式
- 分散式儲存ceph 物件儲存配置zone同步分散式物件
- DAOS 分散式非同步物件儲存|儲存模型分散式非同步物件模型
- 大資料分散式儲存的部署模式:分離式or超融合大資料分散式模式
- 圖解分散式架構的演進圖解分散式架構
- 在 Kubernetes 上快速測試 Citus 分散式 PostgreSQL 叢集(分散式表,共置,引用表,列儲存)分散式SQL
- 分散式儲存轉崗記分散式
- 哪些企業需要分散式式儲存?分散式
- 大咖齊聚!OpenHarmony技術峰會豪華嘉賓陣容揭曉
- Java分散式架構的演進過程Java分散式架構
- 分散式儲存glusterfs詳解【轉】分散式
- GlusterFS企業分散式儲存【轉】分散式
- 什麼是HDFS 分散式儲存分散式
- python如何分散式儲存檔案?Python分散式
- 資料儲存技術的演進趨勢研判
- 大咖說|網易數帆論道 PolarDB 資料庫開源 & 儲存生態資料庫
- 圖解分散式架構的演進過程!圖解分散式架構
- 聚焦資料時代新儲存需求,浪潮儲存的新儲存之道
- 星環科技多模型資料統一儲存的大資料分散式儲存平臺方案分享模型大資料分散式
- 最強陣容!各界大咖齊聚,推動視覺智慧全領域發展視覺
- 分散式儲存中的資料分佈策略分散式
- 杉巖分散式儲存解決方案分散式
- 004.MinIO-DirectPV分散式儲存部署分散式
- GlusterFS分散式儲存學習筆記分散式筆記
- Ceph分散式儲存技術解讀分散式
- Bayou複製分散式儲存系統分散式
- 汪源做客阿里雲大咖說,論道資料庫開源與儲存生態阿里資料庫
- 圖解分散式架構的發展和演進圖解分散式架構
- 【大資料】BigTable分散式資料儲存系統分散式資料庫 | 複習筆記大資料分散式資料庫筆記
- 分散式檔案系統HDFS,大資料儲存實戰(一)分散式大資料