AI 手機的形態，再次進化了。
已經快「捲到頭」的手機晶片，終於迎來了一次能力突破。
今年刷爆整個科技圈的 AI 影片生成，不打招呼就落地到了手機上。
很多大廠還在邀請測試中的 AI 短影片生成能力，現在用手機算力就可以本地搞定了。
大模型的訓練，現在也可以在端側完成：勾選手機相簿裡的幾十張照片，我們就可以構建出個性化 LoRA 模型，然後生成獨有的數字分身。
端側的 AI 訓練能力不僅可以保護資料隱私，還可以花式提升拍照技術。
比如這個生成式 AI 修圖功能，透過訓練已有的照片就能自動修正新照片中的模糊、暗光等問題。以後拍照時再也不用擔心抓不住經典瞬間了。
相比之下更加「基礎」的能力，如多模態大模型的推理，也可以在手機端側進行：
無論是拍數學題讓 AI 解題，還是看一張外文選單讓 AI 幫忙點菜，都是幾秒鐘就能辦到的事。
這一系列技術的驅動力，都來自聯發科上個星期推出的新一代旗艦 5G 智慧體 AI 晶片天璣 9400。
釋出沒多久，它就成為了 2024 年旗艦手機晶片的標杆，而且隨著 vivo X200 系列手機的上市，馬上就會與我們見面。
在這塊晶片的幫助下，手機的 AI 算力獲得了大幅提升，前沿大模型演算法獲得了來自底層的最佳化，無數 App 之間的壁壘也被打通。
而眾多手機的使用者，即將見證一場人機互動體驗的變革。
AI 算力暴增，全面承載 AI 應用生態
天璣 9400 被稱作是 AI 時代的新里程碑，它是一塊專門為 AI 時代打造的晶片。
首先，天璣 9400 在算力和能效上都達到了新的高度：在 AI 領域權威的評測基準 AI Benchmark 最新榜單中，它以 6773 分的成績名列第一，是上一代分數的 1.4 倍。
這並不是一個極限狀態下的參考值，而是可以落地到實際體驗層面上的效能提升。因為新制程和新架構的加持，天璣 9400 在進行 AI 計算任務時的平均功耗還降低了 35%。
說到實用程度，天璣 9400 帶來了一大串業內第一，其中包括但不限於：
首發天璣 AI 智慧體化引擎；
端側高畫質影片生成能力 —— 可實現本地的微電影創作；
支援端側 AI 訓練 —— 可實現本地 LoRA 訓練；
業界首發支援端側混合專家模型（MoE），全面實現端側 NPU 上運算；
獨特的 backpropagation 運算元硬體訓練加速；
獨特的時域張量 (Temporal Tensor) 硬體指令加速。
面向生成式 AI 時代，天璣 9400 不僅著重提升了 AI 算力，也針對大量軟體、演算法進行了最佳化。它帶來了更強的 AI 效能、多模態、高速 Token 輸出，可以實現端側大模型的隱私訓練。
它採用的聯發科第八代 NPU 890，率先支援了端側 LoRA 訓練和端側高畫質影片生成，AI 效能和能效得到顯著提升。相較於上一代產品，天璣 9400 的大語言模型（LLM）提示詞處理能力提升了 80%，為大量新一代 AI 應用打好了計算底座。
透過基礎算力的提升，手機的原生 App 可以實現大模型與應用的分離管控，結合端側大模型的 RAG + LoRA，讓雲端的 AI 助手變成了本地智慧助手。另一方面，透過定義標準的介面，手機上互相獨立的智慧應用實現了雙向交流，我們第一次擁有了一體化的智慧體驗。
AI 解決方案的碎片化，可能是未來一段時間內各家手機廠商面臨的挑戰。天璣 9400 與很多科技公司、AI 創業公司進行了深度合作，包括阿里雲、百川智慧、Google、面壁智慧、Meta、微軟、零一萬物、騰訊混元、百度文心等，實現了對主流大模型的大面積最佳化。
9 月 26 日，在 Meta 釋出開源大模型標杆 Llama3.2 的同時，聯發科也正式宣佈與 Meta 合作完成了新模型 1B、3B、11B 等版本的端側部署。
透過上到應用廠商，下到硬體架構的全鏈路最佳化，搭載天璣 9400 的智慧手機就能夠在本地執行更為複雜的大模型，承載起前所未有的豐富應用生態。
AI 智慧體的「iPhone 時刻」
在天璣 9400 的一系列新能力中，業界首款「AI 智慧體化引擎」最為引人關注，它能夠支援端側的智慧體級硬體加速。
我們知道，面對日益增長的 AI 算力需求，近年來很多晶片廠商陸續提出了針對卷積、Transformer 架構的硬體最佳化。而這一次，聯發科直接把最佳化提升到了智慧體的層面。
究其原因，在技術爆發的背景下，AI 智慧體已是大模型應用不得不走的方向。
「AI 智慧體」可以定義為：一個被賦予行動能力的 LLM，可在環境中對如何執行任務做出高層次的決策。
透過對工作流程的自動化、增強決策能力和提供個性化體驗，智慧體技術就像一個倍增器，大幅增強了大模型的應用範圍和能力。
首先，面對複雜的任務，智慧體可以進行規劃：它將大型任務分解為若干更小、易處理的子目標，每個子任務由一個更小、更專業的工具處理，從而高效處理複雜的任務。智慧體可以進行反思和完善，對過去的行為展開自我批評和自我反思，從錯誤中吸取教訓，並針對未來的步驟進行完善，提高最終結果的質量。
其次，智慧體提升了大模型的記憶能力：在大模型的工作過程中，大部分上下文學習都是利用模型的短期記憶來進行的。智慧體利用外部向量儲存和快速檢索等機制，提供了長時間保留和回憶「無限」資訊的能力。
最後是工具的使用：智慧體可以學會呼叫外部 API ，利用多種工具來獲取額外能力，包括當前資訊、程式碼執行能力、對專有資訊源的訪問等。
AI 智慧體系統概覽。圖片來自：https://lilianweng.github.io/posts/2023-06-23-agent/
簡單來說，利用智慧體，小模型可以實現大模型才能完成的任務，大模型可以嘗試以前無法想象的任務。透過智慧體的方式，大模型技術可以獲得更好的普及應用， 讓 AI 表現出我們真正期待的樣子。
比如前不久，來自 FutureHouse、羅切斯特大學等機構嘗試構建的科研智慧體 PaperQA2，它在檢索和總結任務上的表現已經超過了人類博士後。
除了一系列研究論文，很多科技公司正在涉足 AI 智慧體領域。然而，在見證了許多 AI 智慧體的嘗試之後，我們會發現它們距離實用化似乎仍為時過早。
比如在手機上，雖然智慧體在使用工具、工具呼叫的方面很有潛力，但仍然面臨著速度較慢、成本高、以及應用間介面不統一，呼叫難等問題。
天璣 9400 的 天璣 AI 智慧體化引擎，率先開啟了 AI 智慧體產品化的競賽。
聯發科正在積極與開發者合作，為 AI 智慧體、第三方應用程式和各種大模型提供統一的標準介面，實現 AI 跨應用的快速互聯，提升端側 AI 計算的體驗。
讓 AI 手機學會自主思考
當前，AI 前沿演算法的更新速度幾乎以天計，人們對於大模型應用的能力需求已經逐漸上升到多模態、多工、多領域的層級上。
在人們的設想中，人與手機之間的溝通會覆蓋語音、文字、圖片等多模態內容。AI 手機可以清晰地理解你的意圖，也可以根據你的位置、喜好、環境等制定出可用計劃，進而自動幫你完成各類任務。相比過去簡單的 AI 語音助手，有智慧的 AI 可以對話交流，進行決策，進而變得更加「主動」。
新的正規化下，智慧手機需要展現出三種關鍵能力：自主化理解需求、自動推理策略以及自動完成任務。
在手機上，一端是大模型這樣的新技術，另一端是無數我們現在每天在用的 App。聯發科指出，在手機端側 AI 能力升級後，很多傳統應用都會變得更加智慧化。
天璣 9400 在釋出時就為我們演示了一系列應用在「智慧體化」後的新玩法。
在新一代手機上，點餐應用會記得你的個人喜好，並感知環境給出有用的建議；出行 App 可以跨應用獲得行程規劃，自動根據你的習慣預定酒店；購物 App 也可以根據特定複雜的需求，快速挑選出合適的潮品……
這樣複雜的操作，很大程度上是透過把使用者需要完成的任務切分成多個步驟，透過智慧體 AI 來一步步實現的。而且只有手機充分利用起端側 AI 的處理能力，在日常不間斷的交流不斷加深對使用者的理解，AI 才能給出有用的建議。
因此我們會發現：天璣 9400 實現的端側 AI 算力和賦能應用智慧體級的最佳化，大幅提升了手機智慧化的上限，也是 AI 手機進化的必要條件。
只有做到了這一步，手機才算是由「智慧」進步到了「智慧」的層面，改變了人機溝通的方式。
這不由得讓我們想到了蘋果在今年 6 月釋出 Apple intelligence 時展示的願景：生成式 AI 的應用，必須強大、直觀、完全整合、個性化且保護隱私。
作為目前唯一一家從晶片層面上打通 App 之間 AI 能力壁壘的廠商，聯發科提前兌現了我們對 AI 手機的期待。
結語
種種跡象表明，生成式 AI 的應用已經到了新的節點。
上個月 OpenAI 釋出的新一代大模型 o1，為我們開啟了未來的想象空間。
現在，AI 終於擁有了足夠強大的思維能力。OpenAI CEO 山姆・奧特曼發表長文，對智慧時代提出了設想：「我們將擁有解決困難問題的工具，與 AI 的合作可以大幅提升工作效率。最終，每個人都會擁有一個由不同領域虛擬專家組成的個人 + AI 的團隊。」
圖片來自：https://ia.samaltman.com/
OpenAI 代表著技術革新的一面，它推崇的思維鏈和強化學習正在開拓大模型的前沿方向，或許在幾千天之後，我們就會見證「超級智慧」的誕生。
而在人們每天都在使用的智慧手機上，革新也已顯現。
天璣 9400 透過一系列技術突破，在晶片端側 已經具備了完整的生成式 AI 能力，正在幫助 AI 手機走向智慧體化。
不得不說，在計算攝影、摺疊屏等方向以外，我們終於看到在手機、晶片和應用廠商的不懈努力下，生成式 AI 構建 AI 智慧體成為了新的發展方向，也從底層革新了智慧手機的使用者體驗。未來的智慧手機，還可以幫助我們做到更多。
天璣 9400 將首發搭載於 vivo X200 系列手機上。在這之後，OPPO、小米等各家廠商的產品也會接踵而至。
有趣的是，在聯發科的釋出會上，核心合作廠商米 OV 的高管們輪流上臺，都宣稱自己是天璣調校最好的那一家。這一次，哪家會率先在 AI 智慧體上展現出真本事？