阿里雲 肖文鵬:邊緣雲創新場景探索與實踐

jackson_wang發表於2021-09-23

在9月16日下午召開的邊緣雲論壇上,阿里雲高階技術專家 肖文鵬發表了題為《邊緣雲創新場景探索與實踐》的精彩演講。

image.png

中心+邊緣的新型雲端計算架構體系

肖文鵬首先介紹了中心+邊緣的新型雲端計算架構體系,目前阿里雲有20多個資料中心,即傳統的中心雲,這些中心具有較大的單點規模,並且擁有較強的計算以及儲存能力,但是距離終端較遠。

image.png

相較於中心雲,邊緣節點單點規模較小,能承載的計算以及儲存規模有限。但正是由於這一特性,使得邊緣節點能夠更加靈活快速的鋪開,目前阿里雲已經擁有超過2800個邊緣節點。這些節點遍佈全球各地以及不同運營商,並且距離終端使用者更近。

中心和邊緣一起,面向各類應用以及產業網際網路場景,提供一體化的解決方案。

在5G時代下,影片和圖片因其強大的資訊承載力,已經成為資料內容的主要載體和資訊傳播的主要方式,根據愛立信最新報告顯示,76%的網路資料為影片和圖片,也就是檢視。而5G的大頻寬、低時延、廣連線的特性啟用了影片監控、雲遊戲、物聯網等場景應用,從消費網際網路到產業網際網路的延伸,更加促進了終端應用和檢視資料的爆發。

這些終端和資料具有位置分散、規模大、以及價值密度相對較低等特點。以攝像頭為例,IHS的研究指出,目前全球有10億個監控攝像頭在持續的產生檢視資料。這個資料量是ZB級,但其中絕大部分資料價值較低,我們更需要留存其中的關鍵片段以及其結構化資訊,這樣的場景和需求對計算和儲存的方式帶來了嚴峻挑戰和根本性變化。

基於邊緣的新一代接入、計算以及儲存的分散式系統架構有效的解決了這樣的問題。它能夠將80%以上的流量、計算以及資料收斂到本地,顯著的降低網路傳輸以及儲存成本、提升計算效率,同時帶來超低延遲的體驗。

在這樣的雲端計算體系之上構建業務系統,其核心在於網、算、管、存四部分。

肖文鵬以城市大腦為例進行了講解,他說,終端裝置如攝像頭分佈在全國各地,位置相對分散且流量分佈不均。一些重計算如切片錄製、實時AI分析等需要回雲後在中心完成。同時由於資料規模之大,對於終端裝置管理、檢視內容的檢索等,帶來很大的挑戰。最後,由於海量的資料需要回雲,對成本、時延等等,都帶來很大的問題。

回到核心,如何提供一張就近、位置無感的接入、計算和儲存網路,成為了檢視上雲的首要任務。同時,由於不同業務需求以及資源的異構,比如CPU、GPU、ARM陣列等,需要我們有按需的彈性計算能力,並且需要和接入網緊密結合。其次,面對海量的終端裝置以及檢視資料,雲邊一體的檢視管理以及安全的雲邊通道,是資料流轉的關鍵。最後,由於檢視資料價值密度的差異,我們需要將大部分資料在邊緣進行解除安裝,同時經過計算,將高價值以及序列化資料回雲,其核心,就是解決如何存的問題。

邊緣雲創新場景-檢視計算

綜合對上述問題的思考,邊緣創新團隊基於阿里雲廣覆蓋的ENS底座,孵化出檢視計算平臺。它主要面向檢視以及終端上雲場景,如直點播、安防監控、城市大腦、雲遊戲等,提供了位置無感的連結、計算以及週期性儲存服務。

image.png

檢視計算從基礎設施開始,透過資源納管、虛擬化以及資源切片,將資源進行分池,並且提供多租隔離的能力。同時利用網、算、存一體化的排程,遮蔽底層異構的資源以及物理位置,根據業務特性、終端位置和資源狀態,進行協同排程,在保障業務低延時、高可用的同時,實現業務對計算、儲存和連線的位置無感。

應用場景較為廣泛,比如在安防、交通物流等攝像頭上雲場景,裝置/流媒體接入和處理會綜合考慮節點算力、網路頻寬和儲存容量等狀態,就近選取最匹配的節點,節點位置更靠近內容的生產端,也就是檢視終端。而云遊戲等場景,需要特定的渲染計算資源(如ARM板卡),同時也更靠近內容的消費端(手機端),當需要多人觀戰直播時,又可以推流到CDN網路進行分發和異地觀看。

檢視計算雲-邊-端協同架構

肖文鵬表示,雲、邊、端一體化的協同架構是檢視計算的核心,也是未來邊緣計算的發展趨勢。
image.png

終端裝置負責檢視內容的生產、採集以及上傳,同時一些瘦終端也會負責檢視的解碼和播放。

檢視計算基於廣覆蓋的邊緣節點構建了分散式接入閘道器,能夠與檢視終端快速構建安全、低延遲的雙向通道,實現了多樣化的終端上雲能力。同時也支援影片以及圖片的快速上傳。這些檢視內容會在邊緣就近進行週期性儲存。同時也會與計算聯動,在同節點或者臨近節點內進行計算,如錄製切片、AI處理等。計算的結果如AI序列化資料、有效影片片段等,透過雲邊安全、可靠的回雲通道,實現快速回雲。節點資源也會根據水位進行彈性伸縮,同時節點間也會進行協同和災備。

檢視計算會在中心進行統一的節點以及檢視管理,同時進行一體化的服務編排以及Meta匯聚。檢視終端會在中心對映為一個影子裝置,對影子裝置的操作,都會透過信令通道快速的下發到終端執行並得到反饋。
透過雲、邊、端的協同,使用者不需要再關心雲的具體位置,從而實現只有一個互動面,給使用者一朵雲的體驗。

位置無感的多點協同計算

image.png

在計算方面,檢視計算經過多樣化的場景積累和打磨,提供了三種典型的計算能力。

第一種是基礎計算,主要面向直點播場景,它包含轉碼、錄製、截圖等。透過對編碼器的最佳化,在相同畫質下儘可能降低位元速率,實現窄帶高畫質。同等畫質可節省20%-40%的頻寬以及儲存空間。

第二種是檢視AI計算。結合達摩院在視覺演算法上積累,檢視計算提供各種場景化、結構化的AI分析能力,如移動偵測、人臉識別、事件監測等。

第三種是自定義計算。檢視計算打破自身計算邊界,允許使用者自主上傳運算元進行託管,使用者可根據自身業務按需申請算力,極大降低業務接入成本。

這些計算最大的特徵是算隨網動。計算隨著資料的流動而展開,在每個流轉節點進行資料解除安裝和分流計算,避免全量資料回雲,實現中心算力的下沉以及終端算力的上移。同時,由於計算節點更靠近終端,在計算時延、響應速度等方面,都會有大幅提升。另外也避免的大量資料的回雲,比如網際網路直播場景,對於80%無人或者極少人觀看的冷流,可以在邊緣直接收斂,從而極大降低迴雲頻寬。

可自定義的場景計算

在很多場景下,使用者可能已經擁有了自己的運算元或者應用,這些可能是自研,也可能來自第三方。檢視計算提供了可自定義的場景計算能力,使用者可將運算元託管到檢視計算。
image.png

肖文鵬以雲遊戲為例講解道,遊戲包就是一種運算元或應用。遊戲廠商上傳遊戲包後,會在雲端發起運算元託管的流程,檢視計算會內部對應用進行稽核並加入應用市場。

下一步配置好渲染規格後,雲端會進行相容性適配,同時進行算力評估來計算所需的資源。

接下來會進行運算元的編排以及部署,這時候,使用者無需關心計算資源的生產和管控,檢視計算會實現資源的彈性伸縮和多維度的負載均衡,並且保證就近接入。其中為了資源複用率的提升,檢視計算也會盡可能的將不同計算進行混跑。

當遊戲開始執行的時候,我們也會實時的對任務進行畫像分析,動態校準資源消耗。比如遊戲的接入人數、不同的解析度、位元速率和輸出規格等,都會一定程度上影響實際的資源消耗,整體的算力是動態上下浮動的,實時的動態分析和校準,可以保證排程的精準度,最終帶來良好的遊戲體感。

這種託管的模式,使終端不再需要具備複雜的計算能力,只需要簡單的播放,即可享受超強的體驗。對於雲廠商來說能夠非常好的實現資源複用。同時對於客戶來說,可以更加靈活、敏捷的進行部署和迭代,並且有效降低成本。

位置無感分散式協同儲存

檢視計算的另一個核心,是解決海量檢視資料的儲存問題。剛剛我們說到,終端上雲往往具有位置分散、資料規模大、值密度極低的特點,同時還有一點就是頻寬反轉,上行頻寬遠大於下行。長期的回雲會造成較大的頻寬壓力以及儲存成本,同時最重要的一點,無法保證就近、低延遲。

檢視計算提供了位置無感的分散式協同儲存。全球各地的資料來源都可以透過檢視計算在邊緣節點就近存取,儲存的位置也會參考資料接入和計算的位置,確保整體親和性。

同時,檢視計算透過邊緣加速網路解決了跨地域、跨運營商上傳延遲大、速度慢等問題,實現了回雲的中轉加速,提供了高可靠的回雲通路。

依靠新的協同儲存,我們可以將終端產生的大量檢視資料週期性的儲存在邊緣,比較典型的如攝像頭的週期錄影。同時依靠與計算相結合,我們可以將我們所關心的關鍵影片片段以及AI分析等序列化的結果進行回雲,並長期儲存。

分散式協同儲存平臺

在整體架構上,透過邊緣統一閘道器進行異構資源的適配,不管是從API、SDK還是授權體系,完全相容現有的使用方式,這對於海量的存量裝置來說,只需要簡單配置,便可以快速將檢視資料上傳到協同儲存,從而確保給使用者雲邊一體化的使用體驗,並且整體傳輸速度提升40%以上。
image.png

基於多點協同排程的能力,它實現了檢視資料的就近存取,並且複用CDN場景下閒置的上行頻寬,從而最大限度的利用頻寬資源。同時它可以快速的根據單點水位進行資源動態規劃以及資料複製和遷移,實現服務的高可用和資料的高可靠,整個過程使用者無感知。

同時阿里雲搭建了可靠、安全的資料回雲通路,可以按需在閒時將資料中轉回雲,從而實現資料的分級管理,使用者可以靈活調整資料價值和成本之間的平衡點。

檢視上雲一站式PAAS服務

檢視計算提供了檢視上雲的一站式PAAS服務,包括檢視資料的採集、計算、儲存以及內容消費。接下來我們將重點放到檢視終端的連結部分。

肖文鵬表示,連結的重心主要在於以下兩點:
第一,裝置的接入和管控。如裝置的錄入、認證、事件採集等。同時也包含一些如語音對講、PTZ雲臺、攝像頭機位控制等操作。
第二,檢視資料的接入和管理。如流媒體的接入、協議轉換、檢視上傳以及內容檢索等。

連結是檢視上雲的第一環,結合前面已經介紹過的位置無感的計算平臺以及分散式協同儲存,共同構成了檢視上雲的一整套網、算、管、存體系。連結的易用性、安全性、可靠性等因素很大程度上決定了檢視上雲的規模。

終端一鍵上雲,引領行業從封閉走向開放
終端裝置以及上雲標的準具有多樣化的特性。以安防監控領域為例,就包含國標28181、ONVIF等多種協議,同時很多裝置廠商均建立了自己的私有協議,且協議相對各自封閉,這使得檢視上雲增加了很大的適配難度,並且安全性、相容性無法得到保障。

為了讓檢視終端更加便捷的一鍵上雲,檢視計算推出了兩個安全、可靠的上雲通道,即信令傳輸通道和資料傳輸通道。信令通道用於實現雲與終端裝置的信令控制和雙向通訊。資料通道用於流媒體等檢視內容的接入與消費。

同時我們也推出了開放裝置上雲協議ODCAP。它擁有多樣化的檢視終端適配性,支援主流信令傳輸如websocket、mqtt等。同時在資料傳輸上,支援rtmp、HLS、webrtc等流媒體傳輸協議。任何支援這類協議的終端,均可快速的使用開放協議一鍵上雲。同時我們提供了透明的雙向通道,廠商和開發者也可按需自定義擴充套件。

在安全性以及相容性上,我們也做了一系列增強,保證了一鍵上雲的開放性、易用性、安全性和靈活性。透過一鍵上雲體系,我們希望能夠將之前無法上雲的內容快速上雲,引領這些行業從封閉走向開放。

肖文鵬在研究最後表示,目前,檢視計算已經在多樣化的場景下落地,持續為客戶提供優質、可靠的雲服務。在未來,希望能夠和更多的行業夥伴一起持續探索,推動整個邊緣雲行業的快速發展,為客戶創造更大的價值!


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31490631/viewspace-2793206/,如需轉載,請註明出處,否則將追究法律責任。

相關文章