最近一段時間，端側生成式 AI 上游的「軍備競賽」異常激烈。
上個星期，聯發科技（MediaTek）舉行了首屆天璣開發者大會 2024（ MDDC 2024 ），正式釋出最新一代晶片與 AI 工具。蘋果為新一代 iPad Pro 首次搭載了 M4 晶片，AI 算力相較第一代提升了 60 倍。本週一，vivo 釋出的旗艦手機 vivo X100S 系列搭載天璣 9300+，再次重新整理了 AI 手機效能的上限。距離 vivo X100 的釋出僅過去半年，在這次的升級版上，vivo 帶來了 AI 視效，藍心 AI 也接入了 QQ、釘釘、飛書等聊天會議軟體，實現了跨 App 的智慧錄音識別等能力，展示了端側生成式 AI 能力的無限可能性。
一鍵換季節：vivo X100S 上首發了 AIGC 和影像能力結合的「四季人像」功能。一系列生成式 AI 能力的背後，聯發科從晶片到軟體上的全面佈局引發了人們的關注。在 MDDC 大會上，聯發科公佈的一系列新技術和產品應用，為生成式 AI 技術落地提供了方向。 端側部署生成式 AI，意味著無需連線雲端，直接在移動裝置上進行大模型的 AI 推理，有低延遲、高靈活度等優勢，同時保護了使用者的隱私資料。如今，端側生成式 AI 的落地已成為全球科技公司競爭的重點。在過去一年時間裡，國內外大部分手機廠商都在推動生成式 AI 模型的端側落地，希望能為智慧手機帶來革命性的 AI 體驗，甚至形態的轉變。在 AI 創業公司一側，也不斷有面向端側最佳化的大模型出現，一些最新的輕量級模型已擁有了多模態能力。但歸根結底，為了實現端側 AI 應用落地，首先需要強大的 AI 算力。這就離不開聯發科強大的晶片實力。天璣 9300+ 是聯發科重磅釋出的最新旗艦 5G 生成式 AI 移動平臺，其採用 4nm 工藝打造，八核 CPU 包含 4 個 Cortex-X4 超大核，最高頻率可達 3.4 GHz，是安卓陣營中效能表現最強的手機晶片。在新一代 SoC 上，聯發科著重提升端側 AI 能力：天璣 9300 + 內建第七代 AI 引擎 APU 790，率先支援 AI 推測解碼加速技術，生成速度可提升 120％。同時支援天璣 AI LoRA Fusion 2.0 技術，生成效率提升 100％，記憶體空間節省 50％。天璣 9300 + 還支援 AI 框架 ExecuTorch，可加速端側生成式 AI 應用的開發程序。
這款旗艦芯支援多種業內主流的先進 AI 大模型，包括阿里雲通義千問大模型、百川大模型、文心大模型、谷歌 Gemini Nano、零一萬物終端大模型、Meta Llama 2、Llama 3 等。聯發科表示，搭載天璣 9300+ 的工程機已在端側跑通了 Llama 2 7B，推理速度達到 22 token/s。
走概念領先的全大核路線，具備多項業界領先的生成式 AI 技術，承載共同合作實現的優質遊戲體驗，這些特性聚集在一起，讓天璣 9300 系列成為了驅動當下 AI 手機的最強晶片。自天璣 9000 釋出以來，聯發科旗艦晶片的 AI 能力就十分亮眼，屢屢佔據 AI BenchMark 榜單的頭名位置。衝擊高階的聯發科在 AI 領域持續發力，已逐漸獲得了使用者的認可。其實，聯發科的目標一直是面向 AI 大幅投入，做最具前瞻性的那一個。「在手機上，即使執行 7B、13B 的大模型也是很大的挑戰，」聯發科無線通訊事業部技術規劃總監李俊男說道。「我們必須提升晶片算力，並透過構建 Neuron Studio 等工具來完成大模型的量化、壓縮，做出最佳化和最小的網路結構。」生成式 AI 與智慧手機的融合既是產業各方的需要，也是技術發展的必由之路。其生態包含括晶片廠商、手機廠商、大模型廠商、開發者等多方，尚未形成相對統一的正規化。對於引領方向聯發科來說，生成式 AI 手機已發展成為端側生成式 AI 的第一突破口。生成式 AI 應用尚處於起步期，手機端側被認為是最佳的落地方向，但我們還面臨著一系列挑戰：端側晶片的算力和功耗較低，大模型會佔用大量記憶體。為了針對手機進行最佳化，開發者必須花費大量時間精力將雲端大模型適配端側，而端側又存在大量不同手機廠商的系統差異。上週的 MDDC 中，聯發科聯合阿里雲、百川智慧等生態夥伴啟動了「天璣 AI 先鋒計劃」，透過整合自身與產業生態夥伴的資源，為開發者提供開發能力、技術支援和商業機會。同時釋出了「天璣 AI 開發套件」，為全球開發者提供終端生成式 AI 應用開發的一站式解決方案。天璣 AI 開發套件包含四大核心模組，分別是：快速高效的 GenAI 最佳實踐、覆蓋全球主流大模型的 GenAI Model Hub、高效提升效能的 GenAI 最佳化技術和 Neuron Studio 一站式視覺化開發環境。聯發科表示，四大模組能為開發者提供「快、全、強、易」的專業開發體驗，覆蓋終端生成式 AI 應用開發的全流程。
其中，GenAI 最佳實踐透過模型量化、模型編譯和模型推理技術加速了大模型的終端部署，讓開發的時間從數週加速到只需一天。同時，GenAI Model Hub 適配了行業前沿主流的大模型，為開發者高效構建生成式 AI 應用提供豐富的大模型資源。在構建生態上，聯發科站在移動生態的角度，始終保持完全開放的態度，為端側使用者帶來更加完善和先進的體驗。天璣 AI 開發套件還支援 AI 推測解碼加速技術、LoRA Fusion 等先進的 GenAI 最佳化技術；而 Neuron Studio 整合開發環境可提供一站式視覺化的開發環境，跳出傳統的程式碼開發環境，帶來「所見即所得」的開發體驗。
從功能機到智慧機，回頭看去，手機形態迭代的成功，往往是更有效、更易用的新方法解決了消費者的老問題，隨後再隨著技術的進步不斷最佳化。在 AI 手機上，新體驗很大程度上也應該是對已有能力的整合。聯發科技董事、總經理暨營運長陳冠州表示，在構建端側 AI 應用的道路上，最好的方式應該是將現在的智慧生態轉化成生成式 AI，而不是從零開始構建。聯發科判斷，生成式 AI 手機將在三個方面率先實現落地 —— 新的互動體驗、智慧出行體驗，以及智慧化的遊戲體驗。生成式 AI 時代，提供算力支援的晶片成為人們關注的焦點。在與 AI 大模型公司對接之後，終端廠商還是需要與晶片廠商合作，從底層進行最佳化，最終才能實現應用的落地。聯發科的開放態度和在端側 AI 生態的一系列佈局，大大加快了這一程序。與競爭對手相比，聯發科在做好晶片算力提升的同時，更加尊重與關注了開發者的需求，並致力於構建創新的使用者體驗。「我們發現，生態夥伴會使用我們從未想過的方式利用平臺能力。如今的很多技術都是透過長期的合作與討論構建起來的，」聯發科技無線通訊事業部副總經理陳一強表示。「我們的很多工作就是『多走了一步』，直接面向全體開發者，讓手機廠商和開發者可以更好地應用晶片的能力。」聯發科構建的生態為從大模型公司到手機廠商，再到開發者的廣泛群體帶來了清晰、高效的工具和明確的路徑。讓大模型的落地更加容易，同時還能獲得來自硬體底層的最佳化。在 MDDC2024 大會上，聯發科還攜手數十家生態夥伴，共同構建了生成式 AI 應用生態。
隨著大模型技術的不斷髮展，以及晶片算力的提升，生成式 AI 技術正在延伸到更為廣闊的領域。聯發科還在圍繞端側多模態生成式 AI、專家系統等方向進行探索。從創造產品到定義標準，聯發科將引領端側 AI 生態從積極提供高階晶片，到率先引領端側生成式 AI 生態，第一屆天璣開發者大會 2024（MDDC 2024）是聯發科的一個重要轉折點。在開發者大會上，聯發科與眾多手機廠商、科技大廠和 AI 公司聯合釋出了《生成式 AI 手機產業白皮書》，對 生成式 AI 手機進行了定義。白皮書提出生成式 AI 手機需要具備如下必要特徵： - 支援大模型的本地部署，或是透過雲端協同的方式執行復雜的生成式 AI 任務；
- 具備多模態能力，即可以處理文字、影像、語音等多種形式的內容輸入，以生成各種形式的輸出；
- 確保流暢、無縫的使用者體驗，裝置能夠以自然而直觀的互動方式，快速響應使用者的請求；
受益於強大的移動計算平臺，不斷進步的模型技術，以及配套工具鏈的推動，生成式 AI 手機將在未來幾年保持高速成長。分析機構 Counterpoint 預測，生成式 AI 手機的存量規模將在 2027 年突破 10 億大關。聯發科董事、總經理暨營運長陳冠州則表示，隨著 2024 年生成式 AI 即將在消費級市場普及，到 2027 年全球智慧手機端側整體 AI 算力會達到 50000 EOPS。而在其中，聯發科的貢獻勢必越來越大 —— 最近的分析報告顯示，聯發科在 2023 年第四季度表現強勁，智慧手機應用處理器（AP）以 36% 的出貨量市場份額位列全球第一，已經連續多個季度處於領先位置。毫無疑問，隨著使用者基數的不斷增長，在生成式 AI 大規模落地的過程中，聯發科將佔據越來越重要的地位。AI 生態將成為人們社交、工作、娛樂和出行的載體。新型別的應用，會逐漸改變我們的生活，變得不可或缺。