本文分享自華為雲社群《DTT第71期直播回顧：零程式碼構建AI Agent——華為雲AI原生應用引擎的架構與實踐》，作者： 華為雲社群精選。
基於大模型的生成式AI，將會引領我們走向AGI通用人工智慧時代，經常有人說，在大模型和生成式AI時代，一切應用都值得用AI重做一遍。這是為什麼呢？作為技術從業者，我們需要理解大模型生成式AI給軟體開發產業帶來的影響：
-
在企業業務活動中，最難以傳承和複製的就是業務知識和經驗，大模型是一種比較好的途徑，能夠將企業已經積累的知識經驗、場景know-how等內容，以模型的方式對外提供。
-
基於大模型產生了一些場景化的AI能力，這是之前傳統AI或傳統程式設計方式所不具備的，比如智慧營銷內容、輔助軟體開發過程、方案生成、智慧客服等。
-
基於大模型的AI原生應用給人們的業務活動帶來了根本性改變，比如人際互動方式、內容生產方式、個性化使用者體驗、定製化軟體交付等。
對於大模型帶來的顛覆性技術創新以及對應用開發的影響，可以歸納為兩個方面：
-
從大模型技術本身來講，有三方面的顛覆性創新：
-
文生圖、文生影片等X到Y的生成/創造能力，這是非常通用的智慧化技術；
-
解數學題、做規劃等推理和求解能力；
-
自然語言對話等自然互動能力。
這是之前傳統軟體開發或傳統軟體技術棧內部不具備的一些能力，稱之為顛覆性的變化。
-
從軟體的視角帶來了兩個層面的改變：
-
AI賦能人，在一定程度上模擬人、超越人，比如具身智慧和AI Agent分別在物理世界、數字世界輔助人、替代人；
-
AI重塑存量軟體及工具，顯著提升人的效率及體驗。
大模型與生成式AI驅動軟體產業發生新的正規化變革
第一點是認知和思想方面的變化，稱為AI First新思想，即在軟體開發或業務活動中遇到任何問題，首先會思考如何用大模型和生成式AI的技術來解決，這是一種新的思維方式，既包括了對技術的認知，也包括瞭如何用技術來重構既有的業務流程，或者顛覆既有的開發模式。
第二點是AI Native新實踐，指從架構、流程、方法等層面帶來的新的最佳實踐。除此之外，還可以從4個方面來理解大模型生成式AI給軟體開發活動帶來的影響：
-
新架構：從構成式架構到生成式架構的變化；
-
新體驗：從鍵鼠與觸控到自然互動的變化；
-
新工程：從以人為本的協作開發到以資料為本的生成式開發的變化；
-
新商業：從軟體即服務到服務即軟體的變化。
大模型落地企業場景，需要解決的六大關鍵挑戰
如何選擇合適的大模型，建立有效的模型引入機制
業界模型種類繁多，有不同規格、不同模態，解決問題時如何選擇最合適的模型，是一個比較複雜的問題，必須要解決幾個關鍵要素，比如對模型進行專業評測、模型引入要有一套管理機制、迴避風險問題以及有效治理能力各異的大模型等。
如何用好大模型，在基模之上進一步提升應用使用效果
-
提示詞工程：提示詞的核心是對業務的理解和抽象，它是圍繞業務的一種高度凝練的總結和抽象，構建提示詞工程有一定的門檻；
-
模型複用和模型編排：在實際場景中存在多種不同模型的複合使用，需要實現模型之間的有機排程和編排；
-
持續迭代：做完程式或功能後，必然存在如何持續演進的問題，需要基於業務的反饋、知識標註和資料迴流來持續提升模型，保證業務效果得到持續最佳化。
如何建立IT部門與業務部門的有效協同機制
-
選擇合適的場景需要規避兩個問題，一是當前模型可能不太擅長某些問題，二是要注意選擇透過低成本解決高價值場景；
-
基於大模型的生成式應用開發，不僅是IT問題，更多的是業務問題，它以資料為中心、結合業務場景，因此，業務部門和IT部門/開發團隊在AI原生應用的開發過程中需要做有效協同；
-
開發活動中需要有效實現協同來構築公共資產，包括業務領域的知識/資料資產、模型和開發活動中的一些公共能力和元件的相關資產。
如何準備豐富的高質量資料，幫助AI理解業務
-
B端業務場景的資料不太充分，需要透過一定經驗和方法來準備高質量資料，華為總結了一些開發的業務活動，構築到工具平臺裡面，來輔助開發者完成資料準備；
-
語言類模型本身具備語言能力和推理能力，回答客戶問題需要基於企業內部知識庫來生成，而不能用模型內部知識，避免給使用者造成誤導；
-
抑制具備通用知識的模型在業務適配後產生的幻覺，通常是透過掛載外部知識庫的方式來實現，但知識庫比較複雜、內容來源多樣、有多種不同形態，需要有效管理協同知識庫的內容，才能確保在檢索和生成過程中引用到合適的知識，從而達到更好的幻覺抑制效果。
如何建立完善的風險保障機制，確保AI安全可信治理
我國針對大模型、基於大模型生成的應用，都有相關的安全合規、管理的制度和內容，這就要求具備一些能力從源頭上確保合法合規。從資產安全性角度，大模型壓縮的行業知識和經驗、掛載給模型的知識庫內容、模型生成的內容，都屬於高價值資產，如何保證模型安全、資料安全，也需要重點考慮和解決。
如何應對大模型帶來的投資成本
在大模型訓練推理算力和大模型業務開發活動過程中，平衡成本和收益始終是一個繞不開的話題，可以透過良好的業務規劃和設計來複用模型，來達到算力和請求之間的一種均衡，也可以運用提示詞快取等機制，有效降低模型在推理過程中的消耗和成本開支。
華為雲AI原生應用引擎，使能千行萬業AI原生應用創新
針對以上挑戰，華為雲推出了AI原生應用引擎，給開發者提供了AI原生應用的一站式服務平臺，從模型本身角度，是幫助企業選好、用好、管好大模型，從應用開發效率和效果角度，是賦能開發者實現AI原生應用創新，主要有五大功能：
模型中心：提供模型評測、模型排程、模型可觀測性統計、模型治理等相關的功能和活動。
-
模型中心的核心是模型閘道器，對業界主流大模型、商業大模型、自建模型進行託管，統一管理和排程各種不同來源、不同用途的模型，透過集中的閘道器來實現統一註冊、接入、排程、路由、分發和可觀性跟蹤，把已有的或第三方模型資產快速注入到模型閘道器中進行預整合驗證，方便被上層呼叫，同時，模型中心還提供了基於ABM的後設資料管理機制，根據模型的種類、規格、來源、用途等建立一個清晰的管理清單，確保在業務活動過程中相關資產的安全性和合規性；
-
模型中心從華為自身的場景實踐和內外部生態的匯聚，提供了針對模型場景的自動化評測框架，難度在於缺乏B端企業生產場景的資料，需要用企業自身的相關知識和評估方法去完成，目前有兩種方法來判定評測生成的結果，一是基於一個評判的模型，即AI評判AI的自動化方式，二是引入相關專家的經驗和知識，由專家來標註或者判定結果，兩者結合來給出最終評判結果；
-
當推理的算力叢集或模型本身發生故障時，提供了模型Failover機制，後端實現自動切換，前端業務場景無感知，不影響上層業務應用；
-
在模型中心閘道器節點通道上，對輸入輸出的內容進行合規過濾和監測，同時監控模型推理的效能，提供全面的關於後端的客觀性度量和跟蹤機制。
知識中心：透過提示詞工程、模型檢索增強生成RAG工程、Agent工程等來提升模型場景效果並持續迭代最佳化。
-
高質量提示詞輸出難度大，目前有兩種解決思路，一是總結一些場景的優秀實踐形成提示詞模板可供直接使用，二是用AI的方式對使用者輸入的內容進行改寫、擴寫，把模糊性、片段性的內容轉換成相對較精確、描述結構較完整的提示詞，提升模型推理能力，並根據生成結果的反饋來判斷應用效果，持續迭代和最佳化提示詞模板；
-
將業務經驗和知識的文件類資產匯入到平臺裡，轉變成模型能夠理解和消費的知識，並提供知識資料的加工、標註處理、生成的功能；
-
訓練過程中可能出現資料不透明、過時、本身質量差、存在事實性錯誤等問題，通常使用模型檢索增強生成RAG的方式來完成增強，它是一個程式化、工程化的實現，包括了對查詢輸入意圖的理解、改寫、轉寫和對後端不同知識庫的查詢編排，可以透過串接傳統搜尋、資料庫、知識庫等相關內容的融合檢索來生成最終想要的結果；
-
根據前端互動介面生成結果的評測和反饋，來最佳化知識庫內容、模型訓練資料和對模型調優。
Agent編排：基於模型之上有效地連線既有的業務能力、資料、其他不同的第三方模型等，來實現複雜的業務活動。
-
大模型在推理能力上的侷限性導致無法解決比較複雜的任務和場景，在目前的Agent開發過程中，都採用了流編排或流引擎技術，這是透過一種預定義的方式，預先完成對業務的拆解，來實現有效排程和協同；
-
華為雲AI原生應用引擎支援0碼方式實現Agent編排和SDK方式來串接不同的模型或AI Agent完成高碼編排，提供了豐富的場景、強大的流處理引擎和相關處理機制、對千萬級Agent排程協同的管理能力和基於函式程式設計、程式碼執行的相關能力，高效利用資源，處理靈活方便；
-
在南向和北向上提供了兩層API封裝的定義，便於在南向對接業界各種不同的大小模型，在北向開放介面，使能開發者基於AI原生應用引擎平臺完成對存量應用的改造和重塑，或新形態應用的開發，來實現北向生態的繁榮。
AI可信治理：透過平臺化build-in的安全機制和能力，保證模型生成內容結果的可靠性和資料資產、模型資產的安全性等。
-
基於華為內部的實踐經驗，內建了全流程可信的工具方法，根據不同的角色和許可權定義，保護資料、知識庫、Agent應用以及相關業務；
-
傳統應用的輸出結果都是確定的，在一定程度上是可信的，而AI應用生成的結果比較靈活，有一定的風險，需要採取隔離措施來保證這兩者之間安全合規的整合和呼叫。
AI資產庫：開發活動中沉澱和積累的場景模型、資料、知識、提示詞、Agent、業務活動資產等，都可以放到資產庫裡，來實現最大範圍內的複用，有效提升後續開發的效率和質量。
-
資產中心內建了行業夥伴和行業實踐相關的資料資產，API Hub裡預封裝了行業能力的API資產，比如卡車物流、天氣查詢、叫車等生產生活中常見的場景API Kit，方便被大模型或Agent呼叫；
-
基於大模型的AI原生資產，包括Agent開發模板、場景模型、知識資產等，幫助開發者降低開發難度和複雜度，來快速完成應用創新。
賦能開發者完成AI原生應用的快速創新
AI原生應用構建模式一：Agent分鐘級構建，一站式、顧問式快速構建Agent應用
基於大模型的智慧系統，提供專家顧問的方式來引導推薦生成智慧應用，即Agent應用的一站式/分鐘級構建能力，只需在平臺描述業務訴求、業務場景，剩下的應用生成的工作交給平臺，無論是資料、工具呼叫、知識庫掛載、提示詞模板等相關內容，都可以透過AI的方式來智慧化、自動化地生成，有效降低智慧應用的開發難度或複雜度，這就是“Agent for Agent”。
AI原生應用構建模式二：基於工作流構建
針對特別複雜的任務或企業內部涉及到大量跟存量系統之間的整合工作，必不可少會使用工作流編排方式，工作流裡面提供了比較豐富的節點能力，可以串接大小模型節點、邏輯控制節點等等，支援呼叫外部工具或AI應用，實現不同的功能。
AI原生應用引擎，使能千行萬業AI原生應用創新
AI智慧導診：助力醫患溝通，輔助醫生診療，讓優質資源惠及大眾
在醫療行業，Agent應用在一定程度上可以扮演專家顧問的角色，在就診前為患者提供諮詢服務，在完成基礎檢查後解讀檢查結果，另外，在就診過程中，可以輔助醫生完成患者病例、治療結果等內容的生成，透過專業模型提供專業診斷建議，以及就診後的管理、問題解答等，以緩解醫療資源有限的局面，而在這個過程中所積累的資產和資料，還可以反向提供給醫院用於教學活動、培養實習生。
AI智慧客服：AI專家7*24小時線上服務，智慧快速排障
AGV智慧搬運機器人是在製造行業被大規模使用的一種裝置，不可避免地會出現一些故障，過去處理過程繁複，現在用AI方式，可以透過採集現場裝置資訊和使用者前端上報來對故障問題做預判，基於後端智慧客服的AI程式來回答使用者的問題、輔助診斷、提供解決方案，如果無法解決，再安排工程師去現場，並把相關的案例整理成重複使用的知識庫案例，來應用到後續的環節中去，提升診斷效率。從智慧客服的完整流程來看，在每個環節都涉及到對AI的有效使用，比如智慧問答、語音互動、日誌解析、前端感知、數字孿生系統對接、向前端裝置下發指令、歷史對話介面管理等，幫助AGV客戶和廠商管理人員完成故障處理。
合作共贏，加速千行萬業的智慧化升級
華為是技術供應商，提供算力底座、生態底座、人才培訓底座，但最終要完成對行業的AI重塑或AI化改造，則依賴廣大開發者和生態夥伴，華為雲開天aPaaS提供三個使能，一是商業使能，與開發者和ISV夥伴實現能力共建、商機共享，二是技術使能，華為內部有大量AI原生應用開發的工程方法和最佳實踐總結，可以提供專業服務，三是生態使能，華為雲有非常廣泛的生態能力和工具，可以幫助開發者和ISV夥伴在華雲上生長和壯大。
篇幅有限，更多精彩內容可點選影片回看：
https://bbs.huaweicloud.com/live/DTT_live/202411131630.html
華為開發者空間，匯聚鴻蒙、昇騰、鯤鵬、GaussDB、尤拉等各項根技術的開發資源及工具，致力於為每位開發者提供一臺雲主機、一套開發工具及雲上儲存空間，讓開發者基於華為根生態創新。點選連結，免費領取您的專屬雲主機