在ArchSummit全球架構師峰會2024上，華為雲aPaaS平臺首席架構師馬會彬受邀出席，和技術愛好者分享AI原生應用引擎的架構與實踐。
AI大模型與AI重塑軟體的大趨勢下，軟體會發生哪些本質的變化？如果“所有軟體都值得用AI重做一遍”，那麼該如何重做？華為雲aPaaS平臺首席架構師馬會彬從AI重塑軟體的本質變化、AI原生的概念與內涵解剖，分享華為雲AI原生應用引擎的架構設計和實踐思考。
AI重塑軟體產業：變化與趨勢
大模型正在推動歷史性的技術革命，企業想要成為AI科技浪潮的贏家，需要回答是否要訓練自己的行業大模型、如何尋找或打造自己的ChatGPT時刻、如何從既有的企業IT架構和組織能力上支撐落地這三個問題。
大模型的四大技術驅動力，使得AI重塑軟體成為可見的未來
驅動力1：萬物皆可Embedding，泛化萬物的通用機器智慧表示
Embedding解決了文字、圖片、聲音、影片轉化為一個可計算的token的問題，使得純文字NLP快速演進到多模態大模型，對整個大模型和AI技術浪潮產生根本性的影響。
驅動力2：Transformer架構催生Scaling Law，統一了模型架構
過去經典模型沒有通用效能力，解決的都是個性化問題，Transformer架構目前被證明是最有效的大模型架構，模型引數規模、資料規模、訓練計算量的規模都會顯著提升大模型的智力能力，它的演進是有確定性方向的。
驅動力3：從智慧摩爾定律到場景摩爾定律，大模型成為通用生產力引擎
算力的演進，模型智力能力和模型場景泛化能力的演進，都符合摩爾定律，甚至在一定程度上，演進的速度超過了摩爾定律；就模型而言，解決的問題和適用的場景，隨著時間就會自然獲得，不需要在程式設計或者演算法設計上做太多的處理。
驅動力4：LLM OS抽象了通用AI計算架構，使AI原生應用成為可能
LLM OS是以大模型為核心處理單元所構造的一種理論計算架構，業界基於此做了通用實現，證明了它有解決通用問題的能力。
AI重塑軟體、賦能行業智慧化
業務視角的變化
大模型帶來3大顛覆性技術創新，即創造能力、推理能力、自然互動能力，對整個軟體行業產生重大影響，主要體現在兩大維度：（1）AI賦能人，在一定程度上模擬人、超越人，比如具身智慧和AI Agent分別在物理世界、數字世界輔助人、替代人；（2）AI重塑存量軟體及工具，顯著提升人的效率及體驗。
技術視角的變化
軟體架構之變：傳統程式或軟體1.0是構成式架構，是精心設計的、確定性的，而AI原生軟體或軟體2.0是以大模型為底座的生成式架構。
軟體工程之變：傳統程式的軟體工程是以人為本的協同式開發，強調開發流程、工具、人之間的協同配合，而以大模型為底座的軟體開發過程，是以資料為本的生成式開發，對協同的要求沒有那麼高。
軟體體驗之變：傳統軟體是透過鍵盤滑鼠或觸控式互動，到了AI原生時代則變成了時空自然互動，不止是簡單對話，AI能理解人所處的時間和空間，這是一個非常大的改變。
軟體商業之變：傳統上是軟體即服務，是把軟體功能以服務的形式去交付，現在是服務即軟體，不僅提供功能，而且直接提供操作軟體完成業務的“服務”。
基於這4個變化，會出現3種形態：第一種，這4個變化都採納或遵從了的，就是新的AI原生應用（AI native）；第二種，程式或應用保持不變，但改變了軟體跟使用者互動的方式；第三種，程式或應用保持不變，但改變了軟體開發的工程和工具體系，後兩類可以認為是AI重塑的傳統軟體（AI enabled）。
AI原生架構及AI原生應用新正規化
大模型催生新的AI原生應用新正規化
- 新架構：從構成式架構到生成式架構的變化；
- 新體驗：從鍵鼠與觸控到自然互動的變化；
- 新工程：從以人為本的協作開發到以資料為本的生成式開發的變化；
- 新商業：從軟體即服務到服務即軟體的變化。
基於這4點，AI原生應用新正規化包括兩層意思：第一是AI First新思想，想做以大模型為基座的軟體或應用，首要是轉變思維模式；第二是AI Native新實踐，是架構和工程方法的問題。只有將這兩者綜合在一起，才能真正實現以大模型為驅動力的新應用和新軟體產業的落地。
AI原生架構之變：從經典程式設計架構，進入生成式架構模式
傳統軟體強調演算法、邏輯、資料，有確定的輸入和確定的輸出，大量的工作需要提前設計和開發，生成式的軟體架構跟之前有根本的區別。模型是單獨開發的，功能或場景的開發，即提示詞輸入，不是在大模型開發過程中確定的，而是在任務的場景上下文裡確定的。整個工作方式完全發生變化，意味著整個軟體開發過程中的角色、方式發生了變化。因為開發階段只是確定了模型或軟體框架，在業務過程中有實時的軟體功能或者結果的生成。
AI原生工程之變：從以人為本的協同開發，到以資料為本的生成式開發
以人為本的協同開發，無論是瀑布模式還是敏捷模式，都可以歸納為是以人為本的，特別強調專案管理和軟體工程，遷移到大模型驅動的以資料為本的生成式開發，產生了幾個根本性的變化：
- 全流程數字化：意味著設計和需求都可以用文字、語音、影片方式記錄，透過大模型去理解、生成，之前軟體開發的需求在傳遞過程中總有丟失，現在可能不會了，軟體研發全面進入數字化時代。
- AIGC：生成軟體（software）的各種ware，程式碼、測試指令碼、文件都是生成式的。
- 極致的持續交付：過程中對人的依賴性極大地降低了，交付週期極致縮短，真正實現持續交付。
- 人機互動智慧：人機互動過程即開發過程。
- 以資料和模型為本：研發人員服務於大模型和大資料平臺。
AI原生體驗之變： 從點選、觸控互動模式到新的自然互動模式
一個應用或一個軟體可以分為兩層，底層是記錄系統，沒有變化，上層是互動系統，互動方式因大模型發生很大變化，體現在三個方面：
- 自然空間互動：基於語音、姿態、眼神，甚至腦電波等更自然的互動形式，人的Prompt輸入速度遠遠跟不上大模型token生成的速度，未來可能基於腦機介面來作為輸入。另外，不同於傳統的桌面、App入口，轉為場景式的智慧時空入口，沒有一個確定的入口方式，功能請求隨時可以被觸發。
- 系統巢狀觸達：未來應用之間的邊界會進一步消除，不再彼此孤立，而是可巢狀的系統級觸達，所有的傳統應用軟體最終可能退化成背後的一個個業務工具。
- 全個性化體驗：之前軟體交付面臨定製化問題，現在以大模型為驅動，一定是以使用者、以任務為中心，本身就是個性化的，業務結果是實時生成的，在這種情況下，需要一種新的跨系統、跨平臺的分散式自然人身份系統，不再可能用之前傳統的賬號模式。
AI原生商業之變： 從“軟體即服務”到“服務即軟體”的新商業模式
- 當前產業界在軟體、服務和僱員費用上的開支，軟體佔比還較低，以大模型為驅動的Agent在一定程度上能輔助人或者代替人，產業空間非常大。
- 以大模型為驅動的Agent跟人的成本對比，目前統計是1:80，未來比例可能會進一步放大。
- 人的知識、技能、經驗如果被壓縮排大模型，再以大模型為基礎提供給業務場景，可以完美實現經驗、技能的0成本複製。
AI原生應用的架構演進與成熟度等級演進
將AI自主能力等級和AI成熟度等級作為兩個象限去看，大概會經歷5個階段：應用+AI特性（初級階段）、應用+Copilot（任務階段）、應用+Agent（助手階段）、Agent+應用（代理階段，Agent為主、應用為輔）、超級智慧體ASI（共生階段，人、AI驅動的機器人、agent協同工作），目前每個階段都有在嘗試，但應用的場景和範圍都還有一定的限制。
華為雲AI原生應用引擎的架構實踐
華為基於內部實踐以及跟客戶、生態夥伴的合作打磨了一款AI原生應用引擎產品，旨在幫助企業從應用視角選好、用好、管好大模型，賦能AI原生應用創新，主要包含Agent編排中心、知識中心、模型中心、AI可信治理和AI資產庫5大模組，解決6個業務問題。
- 如何選擇合適的大模型，目前模型種類繁多，哪些場景、哪些任務適用哪種模型？如何考慮BCM、考慮可演進性？
- 如何提升大模型在業務場景中的能力和效果？因為模型是通用的，場景又是個性化的，兩者如何去匹配？
- 如何給模型和AI應用提供高質量資料？因為它不是一次性的，如何不斷提升模型和應用的效果？
- 如何建立AI安全機制，確保安全可信治理？比如大模型驅動的具身智慧在物理世界可能會有環境和人身安全方面的問題。
- 如何降低運營成本？技術投資必然要考慮成本和收益之間的均衡。
- 如何快速創新，讓更多的人參與到場景中快速創新？
AI原生應用落地企業生產場景要解決的關鍵挑戰
- 安全性：資料安全、模型互動安全、應用安全；
- 專業性、協作性：如何讓大模型能夠理解並解決複雜的業務問題；
- 責任性：AI輔助人或者代替人，責任怎麼界定，它是否能承擔這個責任。
具體來說，主要有從5個方面來應對和解決：
1、企業詞表：每個企業都有自己的術語表，要載入企業專業術語，讓大模型準確理解，消除歧義，提升準確率。
2、領域知識庫：所有大模型落地一定要外掛知識庫，因為模型的訓練是有周期的，但是外部的實時資料和實時的知識更新很快，所以需要讓模型跟知識庫結合，保證知識的動態更新，解決知識的及時性及有效性。
3、場景正規化：模型是通用的，業務場景是多變的，如何用通用的架構解決個性化或多變的場景問題？為此，華為雲參照人解決問題的思考方式，構建了7大Agent場景正規化（會話互動、內容理解、感知接收、中樞決策、知識查詢、設計生成、資料分析），從而簡化Agent開發。
4、模型閘道器：基於大模型的應用開發一定需要模型閘道器，有以下方面的原因：（1）市面上的模型很多，對企業來說，包括自建的模型、外購的第三方模型，什麼業務應該路由給哪一個模型，需要考慮業務路由問題。（2）各模型在提示詞輸入輸出的格式上有一些差異，需要一個統一的介面進行切換。（3）大模型是個IT系統，也會出現故障甚至當機，基於閘道器制定Failover機制，可以提升大模型的應用可用性。（4）模型生成的結果，真實效果或準確性如何，要有個控制點來建立可觀測性，來持續度量推理效能、成本及跟蹤反饋的問題。
除了4個功能性的需求之外，還需要從企業CIO視角去做模型治理，因為模型是一個關鍵的IT基礎設施，如何引入、升級版本、退出，都要有管理規範和流程。
5、知識飛輪：如何持續提升模型能力，如何從企業現有應用和業務系統中提取高質量資料、把資料迴流給記憶和模型，需要建立知識、模型、資料迴流的迭代機制，持續提升智慧效果。華為雲AI原生應用引擎的案例實踐
場景案例1：基於AI Agent的智慧化招聘
HR Agent協助HR進行招聘，在一定程度上是自然人與Agent協同的一種新的工作模式。崗位描述、投放渠道推薦、崗位釋出、候選人搜尋和推薦、候選人溝通、預約面試與答疑、組織面試、記錄生成、結果匹配和評估、錄用通知等過程，都以Agent為主完成或獨立完成，涉及到多輪面試、結果確認、錄用決策、入職培訓等業務決策則需要人工參與。
場景案例2：基於AI Agent的智慧化、自動化客服
把大模型應用到客服場景，目前基本上是兩種方式：第一種是在一些具體的環節，透過模型來解決業務問題，輔助生成結果，第二種是模型、Agent、人協同工作，當前客服、保險代理、保險理賠等環節都在用這種方式。現在RAG的預設準確度，大概在50%，如果要提升到很高的等級，做到生產可以投產，至少要達到80%~90%以上，除了Prompt和垂域知識之外，還需要透過資料飛輪，業務產生高質量資料來對模型微調，提升高質量資料產生的過程，再透過建立資料迴流機制，進一步提升效果。
華為內部實踐：從RPA到AI Agent，在業務流程全面應用數智員工
華為All Intelligence實踐從2019年就開始了，內部的零售、公共溝通、合同、工程、客服，員工各領域，有很多不同的崗位和角色，在這些流程中全面應用AI和大模型技術來賦能提升效率和改善體驗，華為內部稱之為知識和經驗的一次革命！之前所有的知識和經驗都是透過流程規範和業務文件去傳承，現在可以壓縮到模型裡面，以模型驅動的AI應用的方式，直接進入到業務流程裡面去交付。
點選關注，第一時間瞭解華為雲新鮮技術~