華為雲受邀出席AICon2024 分享AI Agent在企業生產中的技術實踐

华为云开发者联盟發表於2024-05-24

近日， InfoQ在北京舉辦行業技術盛會——AICon全球人工智慧開發與應用大會2024，華為雲aPaaS首席架構師陳星亮受邀出席，和技術愛好者分享AI Agent在企業生產中的技術實踐。

大模型技術發展浪潮下，AI Agent成為新一代AI原生應用正規化。當前，在問答、互動類應用中，大模型+AI Agent已經給使用者帶來新一代體驗。但當AI Agent進入企業生產場景時，會面臨新的挑戰，如：企業生產場景的專業複雜問題、AI生成結果難以達到生產場景的可用標準以及主題偏離、惡意誘導等安全防護問題。華為雲aPaaS首席架構師陳星亮從上述痛點和挑戰出發，分享華為雲在實際場景的技術實踐，解決企業引入AI生成技術的瓶頸，使得AI Agent在企業生產場景得以成功運用。

華為雲aPaaS首席架構師陳星亮在AICon現場分享

AI Agent進入企業生產場景時的挑戰

AI Agent引領了新一波人工智慧技術浪潮，進入企業生產場景時主要面臨四類挑戰：

專業性：特定領域的專業複雜問題需要專業知識，Agent理解難度大，生產場景要求輸出準確率大於90%，並且要專業、簡潔、高效；
協作性：大模型、傳統模型、現有API協同排程難，在業務流程中難閉環；
責任性：企業生產和客戶服務場景對輸出嚴肅性要求高，要保證內容的正確、及時、完整、可解釋；
安全性：專業知識是企業核心資產，既要共享，又要防洩露，大模型框架內整合的模組或本身可能含漏洞，成為安全威脅。

華為雲在AI Agent的探索與實踐

針對專業性、協作性、責任性、安全性四大挑戰，華為雲進行了五大技術探索：

一、企業詞表

1）多輪理解和主動澄清，將指令理解準確率提升到90%以上；

2）最佳化知識地圖，分門別類建設企業詞表；

3）建設大模型資料准入標準，完善資料治理標準並持續清洗

二、模型編排

大模型善於理解生成，小模型精於感知執行，將模型編排能力和原有IT系統、原有傳統模型結合起來，解決複雜問題

三、外掛知識庫

讓動態知識快速更新和迴圈，緊跟企業知識更新節奏，確保實時互動體驗

四、防退化

納入資料飛輪能力，基於知識的敏感度提高迴圈頻率，加快知識庫更新迭代，不斷賦予AI Agent持續自學習能力，保持資料最新

五、防安全風險

企業對模型自身的安全很難去做提升，可以從資料、大模型互動、Agent應用自身這三個角度提升安全能力：

資料安全：在訓練過程中，對敏感資料自動化識別和歸類，評估清洗程度和可暴露程度，平衡可用性和隱私保護；在推理過程中，識別輸入的敏感資料，過濾和替換後，無感知還原輸出內容
模型互動安全：在企業內部建好模型閘道器，把內外部模型統一接入起來，並在此基礎上搭建三層安全隔離帶，第一層針對模型返回的內容建立安全評分濾網，透過通檢或抽檢方式及時發現模型自身的安全問題；第二層建立企業資訊保安濾網，檢查所有的呼叫，看是否包含敏感資訊；第三層建立企業領域濾網，各領域的敏感詞和控制力度不一，各領域基於這套機制自行控制，更好地將關鍵資訊隔離在內部
Agent框架應用安全：在跟模型互動過程中，要把Agent規劃的動作和原有的安全技術檢查結合起來；在任務執行過程中，針對程式碼執行的環境，要加上對應的安全技術；應用框架自身和三方元件中可能存在漏洞、服務越權問題，要多加關注，及時防護。

AI原生應用引擎產品體驗入口