大咖說丨雲端計算:數字世界的“中樞神經”

天翼雲開發者社群發表於2023-04-06

隨著數字化轉型程式加速,雲端計算作為重塑商業模式、加速數字經濟發展的關鍵引擎,其重要性愈發凸顯。未來已來,身處數字宇宙中,雲端計算的角色又將如何轉變?近日,中國資訊通訊研究院雲端計算與大資料研究所副所長慄蔚,分享了她對於雲端計算與數字原生新實體的獨到見解:

 

數字化時代,雲端計算本質已經發生根本改變,實現了由最初的虛擬化技術向數字世界的中樞神經演升,從以服務化資源交付向雲原生化價值賦能轉變。雲端計算正在成為數字生命體的中樞神經,成為企業數字化轉型的胎生力量。

 

 

 

只有腦區而沒有中樞神經的智慧是靜止的智慧。 傳統人工智慧側重模型演算法創新,卻忽略了智慧是一個複雜的系統化工程,就像人的智慧是建立在完善的中樞神經之上的。模型演算法實現的是機器學習能力,相當於人類大腦的認知腦區(腦力功能區的簡稱),人類有 600多個腦區,但人類整體的智慧應該包括腦區部分和中樞神經,中樞神經是由腦和脊髓組成(腦和脊髓是各種反射弧的中樞部分),比起早期腔體動物和節肢動物只能處理單維資訊的中樞神經不同,人類的中樞神經可以同時、分散式傳遞和處理所有來自“眼耳鼻舌身意”的超高量資訊至不同的認知腦區,並相互連線他們,促進腦區不斷髮育。

 

模型演算法和雲端計算恰好分別扮演了腦區和中樞神經的角色。 OpenAI與雲端計算的聯姻,充分釋放出以雲端計算為中樞構建的數字生命體的競爭力,大多企業和使用者在聚焦模型演算法最佳化改良時,不可忽略雲端計算作為中樞神經的作用。ChatGPT是構建在雲上的人工智慧,就像生物的進化一樣,是腦區與中樞神經系統關係在數字世界的成功演繹。

 

ChatGPT的兩個被津津樂道的創新是系統化工程的創新,這其中雲端計算功不可沒,一是情景學習模式以及多模態(文字、程式碼、圖片等多維度資訊)輸入;二是人類反饋強化學習(RLHF)的微調訓練機制和提示導引模式。這兩個創新中雲端計算的應用部署和離混部技術發揮了重要作用。

 

 

 

雲端計算作為中樞神經,作用有三:

 

01/ 數字世界腦區(應用)排程算力的系統

雲端計算分散式排程超高量異構高效能運算 GPU和通用計算CPU資源,支援ChatGPT模型的1750億引數,對於異構的計算資源,雲端計算遮蔽了複雜的部署框架,給大規模引數一個標準化計算環境,可以高效使用異構算力,降低了大量開發的開銷和執行的成本,提高了效率。

 

02/ 數字世界多維腦區(多維應用)接入、部署和連線的基礎環境

雲端計算實現了多維模型引數的標準化部署,使得 ChatGPT可以圍繞某個主題同時學習多維(影像、語音、文字等)資訊,大部分傳統人工智慧就像早期腔體動物只有一個腦區,只能學習訓練單一維度引數,雲端計算可以將不同應用引數透過雲原生容器等技術標準化部署在不同節點,並相互連線處理,透過雲原生資料庫等實現多維資料的統一處理,就像人類的大腦中樞神經一樣連線處理不同層級和不同維度的腦區。

 

03/ 數字世界實現儲存記憶(離線訓練)和各個腦區反饋(線上提示引導)的機制

透過雲原生離線混部技術支援 ChatGPT離線訓練,線上提示引導的演算法實現,就像人類中樞神經會不斷傳遞經驗和現實資訊給大腦進行大腦資訊修正,在使用者看來ChatGPT可以根據交流調整答案,非常智慧。

 

ChatGPT是“數字原生”人工智慧,雲原生理念和技術是其勝出的重要因素之一

 

ChatGPT是長在雲端計算上的“數字原生”人工智慧,就像生物進化先進化中樞神經一樣,ChatGPT天生擁有中樞神經、多維腦區、開放學習能力和智慧創新的四位一體的智慧能力。雲原生是中樞神經整體實現的關鍵技術核心,容器在其中就像上千上億的神經元承擔了不同應用計算能力和資訊傳遞能力,演算法在計算時將前端後端的神經元部署在不同的容器上,去進行每一個計算、傳遞和通訊。

 

01/ 雲原生技術為ChatGPT提供超大規模平行計算的統一排程分發服務能力,顯著降低ChatGPT訓練成本

GPT走大規模訓練路線,GPU只負責提供底層算力,而云原生則負責實現中間的分散式。GPT有1750億個引數,這1750億個引數在底層進行運算和計算時,使用Ray的訓練框架。底層基於雲原生K8S服務將1750億的引數模型根據不同的維度分佈成超高量級節點的排程,進行分散式的節點計算,如果沒有云原生,異構算力排程存在壁壘,GPU池化受阻,支撐千億引數模型訓練的多機多卡分散式訓練環境無法高效打通,網路、儲存、計算、通訊能力下降,ChatGPT每次訓練時間將被一再拉長。

 

另一方面,人工智慧模型計算所需要消耗的計算資源每 3~4個月就要翻一倍,資金也需要透過指數級增長獲得匹配,而運用雲端計算後過去兩年半,GPT-3等模型的訓練成本下降了80%以上,從首-次訓練開銷1200萬美元降至140萬美元。如果沒有云原生髮揮極-致彈效能力,時間成本和經濟成本雙向上升。

 

02/ 雲原生技術能夠實現多維應用部署

雲原生容器是數字生命體的神經元,承載著模型引數型別以及排程連線的容器節點,具有標準化部署多維應用的能力,對 “眼耳鼻舌身意”多維資訊部署處理,加速數字大腦,也就是人工智慧演算法的進化,使ChatGPT更具智慧。如果沒有云原生,多元異構資料難以標準化接入,單一維度應用難以標準化統一部署,模型的資訊整合、處理效率、計算精度、能力輸出將大打折扣,缺乏組合能力的ChatGPT的成功機率會大幅下降。

 

03/ 雲原生離混部技術實現離散訓練,線上微調

ChatGPT基於大量優質的資料語料訓練,實現對話意圖識別和內容生成能力的突破,這主要由於ChatGPT具有強大的智慧演算法學習和記憶呼叫基礎,透過雲原生離線混部和極-致彈性呼叫機制,離線訓練千億級別的超大規模引數,形成了ChatGPT的儲存記憶資源池,透過線上補充完成人類反饋強化學習(RLHF)的微調訓練機制和提示導引模式,模擬各個腦功能區的反饋,實現多工單詞、句子、圖片之間關係的小規模反饋下的自我監督學習。ChatGPT模型訓練需要消耗超大規模計算資源,基於K8s的資源隔離和資源排程實現的在離線混部技術,極大的提升資源利用率,節約模型訓練成本。

 

04/ 雲原生+AI原生開啟全新商業模式形成良性生態迴圈

開發側, ChatGPT 生長在雲上, 依賴於雲端計算服務,多年來OpenAI共收到了上百億的投資,這些資金幫助 OpenAI 在平臺上執行和訓練其模型;產品側,OpenAI 基於Cloud Native進行應用開發,基於雲端計算提供的便捷高效能運算運算模型和打磨演算法,並對外銷售產品和 API;而投資方基於 AI Native 來提升搜尋、繪畫等產品,未來會在Office、Teams甚至作業系統等產品中用到 OpenAI 提供的能力。

 

以上關於 ChatGPT與雲端計算的關係,也得到了ChatGPT本身回答的驗證。“ChatGPT,你的底層有沒有用到雲原生技術?”ChatGPT的答案是肯定的,“底層基於離線混布技術,離線負責預訓練,線上處理微調。”“雲原生髮揮了什麼功能”?“分散式計算。”“分散式計算的節點是什麼?”“規模太大了,無法告訴你,是一個超高量級的。”

 

雲端計算同樣是數字經濟時代企業的中樞神經,希望其意義被更廣泛認知

 

根據信通院調研,當下企業上雲率總體較低,在 30%左右,行業上雲用雲呈現階梯狀特徵,金融、電信、網際網路等行業到達努力實現用好雲、管好雲的階段,傳統的製造業、農業、醫療衛生等行業還處在努力實現上好雲的階段。大部分企業對於雲端計算的認識仍停留在資源集約方面,沒有認識到雲端計算中樞神經的作用。未來,企業對雲端計算的認知需要超越資源層面,雲端計算作為企業中樞神經的意義應該被更廣泛認知。

 

就像雲端計算實現了 ChatGPT多維資訊綜合處理,異構算力資源一體化排程,作為企業中樞神經的雲端計算,能夠打通從上游採購到下游客戶的全流程業務鏈條,打破煙囪式流程,實現採購、生產、銷售、渠道、使用者消費、人財物等全業務流程再造和創新,以及各環節資料統一匯聚和處理。雲端計算結合人工智慧、大資料等技術,幫助企業成為擁有“中樞神經”和“大腦”的完整智慧體,即轉型升級為“數字原生新實體”。數字原生新實體是技術和思想的跨越,是企業數字原力的覺醒。

 

認知之上,需要針對不同行業、規模、型別的企業分類施策,以充分發揮雲端計算中樞神經的作用。對於中小企業,雲廠商供給即插即用雲端計算中樞神經能力;對於大企業,建立自己的雲端計算中樞神經。第三方透過建立全方位標準體系指引,和供給方共同打造高質量有針對性的雲原生產品生態,中國信通院已經建立定位企業數字化轉型成熟度 IOMM和雲原生成熟度CNMM的評估體系,未來將同業界夥伴共同推進、持續完善。

 


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70014251/viewspace-2944048/,如需轉載,請註明出處,否則將追究法律責任。

相關文章