挑戰傳統集中式雲端計算架構,分散式雲的核心要義是什麼?

danny_2018發表於2022-03-09

隨著5G和物聯網的廣泛落地,傳統集中式的雲端計算架構受到了越來越多的挑戰,我們的算力模型和儲存模型也潛移默化的產生了一些變化。

一、分散式雲與近資料計算

所謂分散式雲是相對於傳統集中式雲而言的,隨著算力需求的分散,雲資源的佈局也相應發生了變化,從物理集中的雲架構向分層分域的分散式雲架構轉型。具體來說,雲平臺會根據需求的變化進行算力分成和下沉,原來集中式雲資料中心會演進成”中心算力層+雲管理和排程中心“為核心的核心層、以地域和行政架構為牽引的區域算力中心以及面向現場和生產一線需求的邊緣計算層等分層分域的新型分散式架構。

分散式雲實現算力重分佈的目的,歸根結底還是為了適配新的業務模式,是算力需求從集中走向分散的根本性需求。當然,分散式雲也不是一味的做拆分和分散化,實現了邏輯統一物理分散,實現四個方面的融合:

1)資源融合:計算和儲存資源在管理上是融合,透過中心雲管實現統一檢視的管理和互操作,透過服務目錄的整合,實現資源服務的交付;

2)網路融合:在過去的雲架構設計中,雲內網和雲間網在管理和控制上是割裂的。從集中式雲的雲內網到分散式雲的雲間網,雲內網和雲間網的融合,勢必成為趨勢了。過去很長一段時間網路一直是雲的瓶頸,站在分散式雲的角度來說,網路依然是瓶頸,雲內網、雲間網和雲接入網的融合很快就會進入視野;

3)應用融合:在現階段雲被詬病最多的還是雲與業務那種若即若離的關係。分散式雲之所以推動算力重分佈,就是為了讓算力更靠近應用。在邊緣側實現應用的時效性處理部分,在核心側實現應有的集中管理和過程處理,這兩部分一定會融合到一起,實現高效的協同;

4)資料融合:在分散式雲的框架下,邊緣側不再像過去一樣只是負責資料的採集和傳輸,資料在邊緣側被第一時間處理,從資料的採集、資料的粗加工到資料的告警以及一些資料的執行,彙總資料和初步分析的資料被傳輸到核心側,這樣的好處是大大節省了頻寬,同時也極大地提高了邊緣側資料響應和時效性。

邊緣側和核心側,在資源、網路、應用和資料四個層面實現了融合,分散式雲才是一個有機整體,分散式雲的核心要義不在於分散式而是在於融合。

說完了分散式雲,近資料計算就很容易理解了,跟分散式雲的初衷是基本一致的,都是為了讓資源更好的為業務服務,都是為了讓算力離應用和資料更近。根據上面的分析,可以得出一個結論,大資料的趨勢正在導致計算正規化的變化,尤其是將計算轉移到資料的概念,我們稱之為近資料處理(Near Data Processing)。NDP是指將計算遷移到離資料更近的地方,減少資料的移動。資料的遷移往往在整個計算過程中佔據極大的能耗開銷。邊緣儲存與存算一體化緊密結合,依靠裝置或介質的計算能力,直接在儲存控制器內部執行計算,在邊緣裝置上可極大減少儲存器內部的資料遷移開銷,在網路傳輸過程中也能極大減少頻寬開銷,這將極大減輕雲端的計算壓力。

二、邊緣儲存

邊緣儲存也是分散式雲架構中的一個重要環節,隨著算力下沉,原有的集中式的雲端儲存模式也會發生架構上的調整和變化,邊緣儲存成為重要的補充。邊緣儲存是邊緣計算的延伸概念,主要為邊緣計算提供實時可靠的資料儲存與訪問。邊緣儲存尚沒有明確的定義,但是相關的工程實踐已經展開了。

1、邊緣儲存的基本特點。與雲端儲存不同,邊緣儲存將資料從遠距離的雲伺服器端遷移到離資料更近的邊緣儲存裝置端,具有更低的網路通訊開銷、互動延遲和頻寬成本,能為邊緣計算提供實時可靠的資料儲存和訪問。邊緣儲存和邊緣資料中心在地理上是分散式的,與業務需求呈現一樣的分佈趨勢。這種分散式結構使資料能夠及時地就近儲存,為邊緣計算關鍵任務的實時性資料儲存和訪問提供了保障。

2、邊緣儲存的異構特性。邊緣儲存一般來說會呈現異構的特點,主要是水平和垂直兩個層面。在水平側,不同型別的邊緣端側裝置一般會採用不同的儲存介質,Flash等非易失性介質和SAS、SATA硬碟相結合的方式,還體現在多種儲存系統的使用。在垂直側,垂直多層次異構是指根據距離大型集中式雲資料中心的遠近,邊緣儲存可分為3個層次:邊緣裝置、邊緣雲節點、分散式資料中心,不同層次對應不同的儲存系統。不同層次的儲存系統需要相互協作,透過多層次、多級別的資料快取和預取策略最佳化邊緣資料的儲存和訪問。

3、邊緣儲存的融合部署。邊緣儲存需要實現邊緣節點內部部署,為邊緣計算提供高速的本地資料資源訪問,滿足邊緣應用的實時性需求,在本地最大限度地控制訪問內部儲存裝置,監測控制資料儲存的位置,實時調整資料的冗餘策略,面向資料來源對資料進行加密或其他預處理,增強資料安全性。邊緣儲存在形式上,也可以是中心化的架構,也可以是非中心化的架構。中心化架構在具體部署角度來看,就是在分散式儲存在邊緣節點的場景化應用,只不過比通常場景更輕量化。還有一種去中心化的邊緣儲存,核心思想就是多個邊緣裝置之間可以自組織地建立去中心化分散式儲存網路。隨著邊緣裝置數量激增,該架構具有很大的潛力。

4、邊緣儲存與MEC。邊緣儲存作為一種儲存架構的演進模式,實際上是邊緣計算概念和模式的延伸,會依託算力重分佈和邊緣應用以及MEC的發展而逐步落地,不會獨立存在,會依託於MEC的場景化應用,比如影片監測、工業網際網路、無人機、車聯網、智慧醫療、智慧交通等等,場景會越來越豐富。

沒有什麼是永恆不變的,還是那句話,概念不重要,重要的是持續演進的架構以及敏捷多變的業務需求。

來自 “ 向雲而生 ”, 原文作者:鄭金輝;原文連結:https://mp.weixin.qq.com/s/vhSj6xHw0aAqlVHVDT9Rag,如有侵權,請聯絡管理員刪除。

相關文章