解析雲原生2.0架構設計的8大關鍵趨勢

華為雲開發者社群發表於2021-12-09
摘要:在雲原生2.0階段,我們到底需要構建一個什麼樣的架構?華為雲首席架構師為你一一解答。

本文分享自華為雲社群《華為雲首席架構師獨家分享:雲原生2.0架構設計的8大關鍵趨勢》,作者:技術火炬手。

雲原生2.0是企業智慧升級新階段,企業的雲化從“ON Cloud”走向“IN Cloud”,當一切應用都生於雲,長於雲,雲架構的迭代也會進入一個新的階段。

圍繞雲原生2.0,華為雲首席架構師顧炯炯提出了8個關鍵模式: 分散式雲,混合排程,應用驅動基礎設施,存算分離與資料治理自動化,可信、平民化DevOps,基於軟匯流排的異構整合,多模態可迭代AI模型,全方位立體式雲安全。

分散式雲

隨著雲化和數字化滲透到製造類、工業網際網路類場景,5G技術在to B領域應用的快速成熟,以及物聯網 、AI技術的成熟,現在雲的服務物件不僅是企業的後臺IT支撐系統,它延伸到了前端的“現場”,類似於工業場景裡的近場計算。如果還是將所有的數字化應用系統都放在集中的資料中心,它的時延無法滿足實時生產系統的要求。

另外,有一些行業的敏感資料不能從現場或者資料產生地直接簡單的上傳到雲端,它存在資料安全、隱私保密的問題。再比如醫療裡的基因大資料、視訊監控等場景,如果所有資料都上傳到雲端,頻寬的成本非常高昂。

所以,我們必須要引入雲邊端協同的分散式概念,構建分散式雲的架構。 這個架構可以和核心側架構配合,覆蓋核心區域、熱點區域、本地機房、業務現場等不同接入時延敏感度,資料隱私合規要求及資料上雲頻寬成本的應用上雲場景。

舉個例子,通過這樣的方式,可以把雲端的很多算力和計算邏輯,甚至是訓練好的AI模型推送到更加靠近使用者資料產生地的位置上,進行就近的計算,將海量的資料做一定的收斂、分析、脫敏等,再傳送到雲端進行閉環的處理和控制反饋。

混合排程

在很多演算法專家的努力下,華為雲通過瑤光排程平臺大大提高了資源的分配效率,達到甚至超過了80~90%的程度,已經接近於業界的領先水平。但是資源的實際利用率仍然處在一個比較低的水平,當然業界平均也不是特別理想,領先者差不多20%左右。為了解決這樣的問題,華為雲引入混合調動、柔性計算的能力,將線上和離線的不同優先順序的業務,進行QoS感知的智慧呼叫,實現資源利用率最大化。

柔性計算不僅僅具備彈性的特徵,保證了橫向的資源擴充套件,而且它也能實現縱向資源規格的可大可小。目前,消費者雲已經在內部驗證了柔性計算的能力,可以在不改變上層業務的前提下提高利用率,實現效能的倍增。關於柔性計算的更多內容參考 華為雲首席架構師顧炯炯:敢為人先,探索架構創新之路如何走

應用驅動的基礎設施

如今,軟硬體的垂直整合,特別是靠近作業系統底層的硬體和雲服務基礎設施層的服務軟體之間的縱向整合能力,成為新的趨勢,它把基礎設施服務底層的硬體和相應的服務封裝層打包在一起。

雲服務廠商可以設計研發定製晶片,比如儲存和網路的硬體解除安裝的晶片、匹配深度學習邏輯處理框架的晶片等等。如果有能力構建這樣的軟硬體垂直整合的能力,就能擁有相比其他雲服務商更優的價格優勢,也得以呈現自身獨特的硬體、晶片優勢。

有了應用驅動的基礎設施之後,根據應用的效能SLA需求,來定義是使用與軟體完全解耦的通用硬體資源,還是匹配應用場景特殊訴求的軟硬體深度協同的解除安裝卡或異構計算資源。

這也能發揮華為軟硬體兼長的優勢,我們在硬體領域有不少核心創新:一個是 SDI, 叫軟體驅動的基礎設施,也就是把分散式儲存\分散式網路,還有Hypervisor的一些系統能力從伺服器解除安裝到PCI卡上,也即SDI/擎天解除安裝卡。二是鯤鵬硬體支撐雲端儲存和資料湖的處理, 鯤鵬單核處理能力雖弱於X86,但核密度則達到X86 CPU的2倍,因此在對IO及記憶體頻寬作為其效能瓶頸的大資料及分散式儲存場景,是比X86更好的選擇。同時,我們也在用自研的昇騰NPU取代GPU構建AI平臺, 它在深度學習的訓練推理中體現出更高的能效比。

存算分離和資料治理的自動化

未來企業的所有的資料孤島都將匯聚到雲端的資料湖,進行統一生命週期的治理和管理,所以必須要解決資料計算分析的資源需求。資料湖裡有各種各樣的結構化、半結構化、非結構化的資料,但這些資料的分析計算和底層的儲存容量之間的需求,並不是線性匹配的關係。 比如對於深度學習的場景,資料量需要不斷的計算迭代,它需要更多的計算能力,相對較少的儲存需求。因此在不同的業務場景下,資料分析計算和儲存的要求是不一樣的,最終一定要走向存算分離。

在存算分離領域裡面,華為雲已經積累優勢,從最早的去中心化的分散式儲存引擎FusionStorage開始,七年磨一劍,我們從內部驗證到向外部的推廣,從塊儲存延伸到物件儲存、檔案儲存、分散式的叢集資料庫,把原先在開源架構裡五花八門的底層儲存技術引擎架構實現了統一。經過實際的測試,在業界同樣支援存算分離資料湖架構的雲場景中,華為雲體現了領先30-60%以上效能優勢。

再就是資料治理自動化。 現在的資料治理的還是人力密集型工作,整個過程非常低效,很難滿足很多行業的要求。所以在這個架構模式裡面,除了存算分離的資料庫,還要構建資料治理自動化。

通過引入AI的技術,將資料的獲取、清洗以及最終資料知識的提取,主題庫的建立、資料目錄的釋出,都實現完全的自動化。使用者只需要指定入湖的資料來源和所屬業務主題域,系統自動化建立入湖任務,底層資源根據入湖資料量自動擴縮容,智慧完成入湖資料的安全等級、分級分類、隱私等級等資料標籤的自動識別打標。這個能力對企業資料資產的快速沉澱能力的構建是至關重要的。

可信、平民化DevOps

通過將一系列安全可信措施嵌入到敏捷開發運維模式, 構建所謂的DevSecOps流水線,實現敏捷快速迭代與嚴格質量管控兼顧;並通過低程式碼/無程式碼實現更多行業應用資產的沉澱, 將行業應用的開發效率再上一個新臺階。

Devops實現了應用的敏捷開發,但在面向政企時,還需要滿足應用質量和安全可信的要求。因此在遵循DevOps的同時,將安全能力整合到其中,升級成為DevSecOps。使用安全左移、預設安全、執行時安全、安全服務自動化/自助化、基礎設施即程式碼(IaC)等技術, 實現管理與協同、設計與開發、CI/CD、應用管理、運維、安全可信等各個環節的一體化趨勢。

此外,由於傳統政企開發投入有限,需要通過低碼化無碼化,來實現對應用進行快速構建及改造。華為雲低程式碼平臺AppCube可支援多種頁面型別和豐富的元件能力,基於它的服務能力編排和業務流程無程式碼定製,可實現靈活流程觸發方式、多種許可權配置方式、自定義業務編排等。

基於軟體匯流排的異構整合

即幫助企業構建可平滑演進的IT架構, 實現老舊應用與新建雲原生應用,線上與線下應用的平滑融合整合。

雲原生下,企業很多應用都要進行微服務解耦,遵從微服務的治理架構,進行水平擴充套件的架構的設計,甚至把原來的單體架構逐步進行拆解。但這個過程不是一蹴而就的,尤其是那些包袱比較重的傳統行業,他們還面臨很多現實的挑戰。所以我們要在企業傳統IT架構和雲原生架構之間搭建無縫的橋樑,在確保企業業務連續性最大化的前提下,實現平滑的切換和演進。

以Roma Connect為例,它可以通過軟匯流排的形式,把雲原生和非雲原生的傳統世界無縫的連線起來,支援異構的應用和資料庫源的對接,也可以對接到雲上開發平臺、資料湖,實現無縫互通。

在架構的平滑演進中,首先需要將傳統非雲原生應用封裝為REST介面與雲原生應用對接,通過統一介面服務層APIC進行開放,業務雲原生應用通過標準介面即可獲取老系統資訊。同樣的機制可以將線上線下,及部署在多雲環境上企業IT系統的無縫互通。

其次傳統Oracle/Sybase等傳統資料庫及中介軟體與裝置協議接入上雲:雲上雲原生應用通過雲上標準API呼叫、資料庫訪問、訊息訂閱等方式即可獲取傳統資料。

最後,通過全生命週期的API管理能力,包含從設計、釋出、上架、治理的全過程,幫助企業構建整個跨地域,跨組織、跨部門的應用網路,並沉澱行業應用資產。

多模態可迭代的AI模型

AI在行業落地面臨的問題是能夠獲取到的訓練資料是非常有限的,單純的依賴資料驅動的深度學習訓練,使得行業AI模型是非常難以泛化、通用化。

預訓練大模型是解決AI應用開發定製化和碎片化的重要方法。 通過一個AI大模型實現在眾多場景通用、泛化和規模化複製,減少對資料標註的依賴,賦能AI開發由作坊式轉變為工業化開發,比如華為雲之前推出的盤古大模型。

另外也要引入知識計算的能力, 類似於把知識圖譜這樣的能力和基於感知計算的資料驅動的AI模型互補結合起來。也就是說把知識模型和資料模型,在資料樣本相對缺少的情況下結合在一起,更好服務於行業AI的落地。幫助企業打造自己的知識計算平臺,整合分散在不同系統、多種形態的企業資料,形成帶有建議性的知識體系。

全方位的立體式雲安全

1.0階段的雲安全服務更多的是孤立的安全能力:虛擬化安全,hyporvisor防逃逸能力,雲防火牆能力其實都是割裂的,並沒有跟所有的雲服務形成互鎖。

全方位的立體式運營安全通過打通離散的雲安全服務能力,將其與其他雲服務及客戶應用形式互鎖, 構建安全Build-in的雲原生應用,以及引入可信智慧計算,解決跨行業資料隱私保護與流通碰撞、價值挖掘之間的矛盾。

首先通過可信智慧計算提供四個核心能力,進行安全可信的資料計算。包括:

1、跨組織、跨行業的多方資料融合分析和多方橫向與縱向聯邦學習建模;

2、支援對接主流資料來源和深度學習框架;

3、支援安全多方計算(例如同態加密,差分隱私等),並支援使用者自定義隱私策略;

4、基於區塊鏈的資料計算軌跡的可追溯可審計。

此外,為了全方位安全,還需要將全棧雲(及其子集)下沉部署(連線/非連線),徹底解決敏感行業上雲安全顧慮,以及將全棧雲服務、企業新開發雲原生應用、aPaaS/SaaS等與全棧雲安全能力互鎖,為使用者構建體系化的雲安全平臺。

 

點選關注,第一時間瞭解華為雲新鮮技術~

相關文章