阿里雲熊鷹:基於融合、協同系統的邊緣雲原生架構演進和實踐
雲原生和邊緣計算是近兩年都非常火的技術話題了,在第十屆雲端計算標準和應用大會上,阿里雲高階技術專家熊鷹分享了《基於融合、協同系統的邊緣雲原生架構演進和實踐》,希望透過介紹現在阿里雲在邊緣計算和邊緣雲原生這些技術領域的系統架構演進,讓大家瞭解到業務在雲原生和邊緣計算結合場景下落地的一些思考。
關注阿里雲Edge Plus公眾號,回覆“熊鷹”,獲得演講PPT材料
概述
近幾年邊緣計算發展非常迅猛,大家可以在各種標準和資料中看到各家對它的定義,這裡對其中的幾個基礎概念做一個總結性的表述
【緣起】
邊緣計算概念的緣起,可以追溯到比較久遠的時期,但是真正熱度興起,主要還是因為5G的發展;4G的發展使得移動網際網路大爆發,因此在5G時代邊緣計算被賦予了很大的期望,希望成為新的產業賽道;另一方面,5G標準3GPP裡定義的的三大場景大頻寬、低延時、廣連線,從各個方面都會強化邊緣計算的應用場景,而由此帶來的電信的基礎設施的改造,使計算可以進一步下沉,從網際網路到核心網、進一步下沉到接入網,計算正在一步步變得離使用者越來越近。
【定義】
關於邊緣計算的定義,身處不同的領域和角度,運營商、雲服務廠商、硬體廠商,各家對於邊緣計算的定義是不一樣的。在阿里雲的邊緣雲標準裡,定義邊緣云為:在靠近終端(人和物)的網路節點,提供分散式、可定義、可排程、標準開放且安全的計算平臺及服務。目標是要擴充雲的邊界,讓計算與連線離物更近,讓它作為萬物互聯的基石。
【特徵】
與中心雲來對比,邊緣的節點是分散的多級的,節點多而體量小,不止是區域級省級,還會下沉到地市級園區級,在5G場景裡,更要下沉到接入網,雲與邊、邊與邊之間的網路可能都是網際網路通道。
【挑戰】
海量的、分散式的、異構的邊緣節點資源特性,會給業務帶來巨大的挑戰:多個網路入口,代表著統一的流量監控和彈性伸縮策略是不可用;節點多而體量小,代表著單一叢集的彈性弱,而全域性的彈性強;海量節點的納管和網際網路的網路環境,對於高可用、災備、遷移等等都是大的衝擊。
總體來說,由於新基建的提出和佈局,5G、物聯網、工業網際網路得到了廣泛的關注。5G的商業化和產業化程式的加速,使底層基礎架構更加的成熟,在今年已經催生出了一大批新行業入場,雲應用、雲遊戲、互動娛樂、工業網際網路2.0等等,同時也在推動著整體技術架構在迅速地變化和演進。
基礎設施演進
首先來介紹邊緣基礎設施的演進情況,阿里雲根據業務形態,定義了三個階段:
第一個階段為邊緣雲就緒,在這個階段,使用者只是把執行在物理機上面的應用,遷移到虛擬化環境中,這個過程是以降低成本為主要驅動力的,使用者不再自建節點,將底層物理設施的運維轉交給邊緣雲處理,而應用的開發和運維方式並沒有非常不同。
第二個階段為邊緣雲原生,使用者希望能再進一步降低整體擁有成本,提升系統能力和研發效能,利用標準化、自動化的方式來管理資源、交付應用、運維繫統,使用者基於K8S進行深度開發和定製,將邊緣資源進行一個整合,適配邊緣的特性,在之上開發搭建自己的PaaS平臺,以提供給內部的業務使用。
大家對前兩個階段應該很熟悉了,跟中心雲的演進過程很類似;
第三個階段為邊緣融合雲原生,應該算是一個比較新的概念,這是阿里雲在實踐過程當中,結合對使用者業務的思考,摸索出來定義的一個階段。
展開來講:邊緣的特性是分散式、資源小而多、網路條件複雜,這樣使用者需要隨時關注基礎設施的穩定性,並進行業務和資料的切換和遷移;另外,彈性不強,那麼使用者的業務也很難做到按需使用;另外,邊緣各種能力在技術架構上的整合,也需要使用者更深入到K8S之中,具備定製開發能力。總結來說,就是使用者需要感知底層資源、基礎設施,甚至庫存、水位、規劃等等情況,並且業務要下沉到邊緣的技術挑戰和難度都很大。在邊緣融合雲原生裡,帶給使用者的是,在邊緣也並不需要去關心底層基礎架構設施,就能享受到彈性、高可用、按需使用的能力。邊緣融合雲原生應該將異構資源、多叢集、庫存水位的邊緣特性遮蔽;將資源排程、彈性伸縮、多級協同等方面的能力進行沉澱和打通;利用雲原生的良好的擴充套件性,將資源、能力進行抽象融合;同時還需要針對通用業務場景和新興業務場景,提供統一標準的介面封裝;將這些能力釋放給使用者。
系統架構演進
在技術架構演進實踐當中,同樣按照剛才的思路進行分層設計:
基礎設施層:具備異構資源納管、多級網路架構、融合儲存形態等能力,解決底層資源融合納管、融合生產、抽象遮蔽的問題;
雲邊協同層:具備計算、儲存、網路流動的能力,具備雲邊、邊邊、多雲的協同能力,解決各種能力和系統協同打通的問題;
平臺引擎層:具備邊緣雲原生抽象整合能力,解決將資源、元件和應用、排程、編排等能力整合融合的問題;
業務場景層:具備統一介面、業務沉澱、場景深化的能力,解決開發者生態閉環的問題。
可以預料到,隨著5G技術和基礎設施的持續演進和完善,以及創新型業務的發展,系統架構還會隨之進行演進和更迭。
紙上得來終覺淺,絕知此事要躬行。接下來,熊鷹透過介紹阿里雲在實際業務實踐過程中的案例,來一一解讀各層的能力和設計。
應用案例——無狀態應用
該場景主要針對的是任務類的業務(例如壓測、撥測、離線轉碼任務)、或者對等網路系統(P2P傳輸網路)等,這類業務,對彈性伸縮能力有較高要求、對成本有強烈的敏感度,但是對位置、高可用性等要求不高。由於邊緣單節點彈效能力弱,但是全域性資源彈性強的特點,這種場景算是考驗邊緣計算基礎設施能力的典型應用場景。在架構上,它是需要有一個對全域性資源的一個統一庫存、融合排程、協同編排的能力:在計算形態上,要支援虛機、容器、安全容器等多種融合計算的形態來滿足不同場景的業務訴求;在資源庫存方面,要有一個融合的資源池;在排程和編排方面,也是有一個協同統一的排程能力;這樣就能很好的提供在事件觸發、流量突發場景下的彈性伸縮和按需使用的能力,也能讓使用者的使用成本大幅度降低。
應用案例——有狀態應用
這個場景,業務除了將計算和彈性託管以外,還將域名和排程託管了。另外,由於業務的複雜性,架構上也日趨複雜。首先,在單叢集內,系統需要拆分為多個獨立工作的微服務;第二,多個微服務自身和之間,都有相互編排依賴的關係;第三,在雲與邊(管控與業務)、邊與邊(叢集與叢集)之間會有協同通訊的需求;最後,再加上域名和流量排程、SLB、資料庫、中介軟體等通用能力和元件整合需求;從這個角度來看,在邊緣的應用場景已經不比在中心雲裡的應用複雜度低了,同時還要加上邊緣的分散式、多叢集、廣排程的特性;分散式雲端計算是對這個場景比較貼切的描述。
在架構上都需要如何來解決業務的需求?最底層基礎架構設施層,產品能力上,引入分散式SLB、分散式DB等;網路能力上,加入了可程式設計可配置的雲邊、邊邊覆蓋網路能力;在協同層上,雲邊協同、邊邊協同、流量和資源的動態平衡協同也是核心的能力;在引擎層上,需要有深度開發適配邊緣的雲原生能力,像解決海量節點納管引入的K8S多叢集管理聯邦能力、解決業務多租戶隔離的Virutal Cluster能力、解決微服務架構中服務發現和協同通訊的Service Mesh元件、適配邊緣虛擬網路、虛擬儲存的CNI、CSI元件等等。
熊鷹:"分散式雲端計算概念目前還沒有太多的標準和規範,一個複雜應用要做成分散式,從中心下沉到邊緣,還需要做很多系統架構改造適配的工作。這也是阿里雲努力的方向,希望沉澱出更多的平臺能力出來,形成一個個開發生態的閉環,讓分散式雲端計算,也能輕鬆落地邊緣。”
應用案例——終端上雲
這個業務場景在今年非常火熱,典型是雲遊戲和雲應用這兩個領域。業務將執行在終端上的系統或者應用,託管到雲端,以降低終端成本,也可以降低高質量業務的可准入門檻。在邊緣融合雲原生裡,這裡會有一個根本性的概念轉變:從資源託管、應用託管到裝置託管、位置無感託管。在基礎設施層和引擎層,針對各類異構資源將資源做初步的封裝,抽象出一層統一的標準的虛擬化的資源,提供安全和隔離的能力;在業務層上,再進行一層封裝,將資源屬性遮蔽掉,不再提供資源的概念,取而代之的是裝置的概念;同時,在協同層上加入了協同計算、協同儲存、協同網路的能力,讓虛擬裝置能夠流動起來。在業務上,不再能看到傳統意義上應用和資源的概念,只能看到一個一個虛擬裝置的管控能力,例如裝置資料、裝置應用、裝置排程等等。
這裡強調一下數字孿生的概念,熊鷹表示:在萬物互聯時代,每一個物理終端的背後,最終都有一個影子終端在邊緣雲上,或者是資料的載體,或者是系統的延伸。
應用案例——超清影片
這個場景還處在技術摸索的階段,是真正下沉到5G MEC節點的一個場景,希望能夠打造一個可複製的5G領域的通用技術架構模型。這個場景裡最關鍵是要能打通協同層和運營商MEC系統的資源協同、流量排程、網路分流協同的能力。5G/MEC時代算力的持續下沉,到接入網,到MEC節點,通用協議如DNS協議會無法滿足精準的排程需求;一方面排程將會需要根據終端的精確地域資訊來決策,另一方面也要根據業務的需求場景來進行決策;例如,對於定位、AR/VR等極高實時性的業務,會放在接入機房來滿足實時性的要求;影片分析等高傳輸頻寬節省業務和雲遊戲較高實時性業務,會放在匯聚機房,兼顧功能和實時性的需求;而重計算/大儲存的業務放在重匯聚機房或核心機房;多級計算、多級網路的設計能讓整個系統的能力更加強大和豐富。
邊緣融合雲原生希望在兼顧業務時延、計算能力等需求的基礎上,能分場景靈活的選擇業務的部署位置,來滿足各類業務的需求。當然,這些能力應該是封裝抽象提供給上層,使用者和業務是不應該感知到底層基礎架構設施的複雜性的。
總結
5G時代,終端上雲、VR/AR、邊緣AI、工業網際網路、智慧農業的應用場景將逐漸爆發起來;在一些專有領域內,已經有重量級的應用場景落地;但是在通用網際網路技術領域,真正的5G的Killer應用還沒有出現,或者說真正的結合5G技術還有基礎設施的技術架構還待演進。熊鷹十分期待邊緣計算平臺能夠透過共建、合作的方式,將多級網路裡的資源融合排程起來,將雲邊端真實打通協同,基於雲原生技術,為行業提供開放的、標準的雲邊協同、雲網一體化能力,讓更多的應用能輕鬆的下沉到邊緣,實現萬物互聯的時代。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31490631/viewspace-2751789/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 阿里雲的“終端雲化”實踐,基於ENS進行邊緣架構構建阿里架構
- 雲原生新邊界——阿里雲邊緣計算雲原生落地實踐阿里
- 雲原生與邊緣計算的碰撞——邊緣原生應用實踐
- 阿里雲CDN基於雲邊協同的轉型創新實踐阿里
- 基於邊緣雲業務場景,深析阿里雲的“前端智慧化”實踐阿里前端
- 雲原生架構下的微服務選型和演進架構微服務
- 詳解邊緣計算系統邏輯架構:雲、邊、端協同架構
- 雲上影片業務基於邊緣容器的技術實踐
- 深耕邊緣計算 揭秘阿里雲邊緣雲網一體化的技術實踐阿里
- 美團配送系統架構演進實踐架構
- 天翼雲探索雲原生、邊緣計算融合新思路
- 技術沙龍 | 雲時代下的架構演進—企業雲及雲原生技術落地實踐架構
- 雲上視訊業務基於邊緣容器的技術實踐
- 多利熊基於分散式架構實踐穩定性建設分散式架構
- GraalVM(雲原生時代的Java)和IoT在邊緣側落地與實踐LVMJava
- Serverless 架構演進與實踐Server架構
- 雲原生時代,應用架構將如何演進?應用架構
- 阿里雲如何基於標準 K8s 打造邊緣計算雲原生基礎設施阿里K8S
- 阿里雲李克:邊緣雲技術發展與實踐阿里
- 技術架構分享:美團配送系統架構演進實踐架構
- 銀行基於雲原生架構的 DevOps 建設實踐經驗架構dev
- 分散式系統架構與雲原生—阿里雲《雲原生架構白皮書》導讀分散式架構阿里
- 基於容器雲的微服務架構實踐微服務架構
- Apache Druid 在 Shopee 的雲原生架構演進ApacheUI架構
- 【大資料雲原生系列】大資料系統雲原生漸進式演進最佳實踐大資料
- 阿里雲楊敬宇:邊緣計算行業通識與阿里雲ENS的技術演進之路阿里行業
- 基於ROS2的智慧協同系統ROS
- 荔枝架構實踐與演進歷程架構
- 位元組跳動 YARN 雲原生化演進實踐Yarn
- 基於雲邊協同架構的五大應用場景革新架構
- 秒懂邊緣雲 | 邊緣雲技術進階
- 阿里雲邊緣容器服務、申通 IoT 雲邊端架構入選 2021 雲邊協同發展階段性領先成果阿里架構
- 剖析多利熊業務如何基於分散式架構實踐穩定性建設分散式架構
- 擴充套件 GRTN:雲原生趨勢下的 RTC 架構演進套件架構
- 汽車之家10年系統架構演進與平臺化架構實踐架構
- 閒魚基於Flutter技術的架構演進和創新Flutter架構
- 七牛雲馮立元:邊緣儲存的演進之路
- 阿里雲 肖文鵬:邊緣雲創新場景探索與實踐阿里