Arm 控股有限公司（納斯達克股票程式碼：ARM，以下簡稱 “Arm”）今日釋出 Arm®v9 邊緣人工智慧 (AI) 計算平臺，該平臺以全新的 Arm Cortex®-A320 CPU 和領先的邊緣 AI 加速器 Arm Ethos™-U85 NPU 為核心，可支援執行超 10 億引數的端側 AI 模型。
Arm 高階副總裁兼物聯網事業部總經理 Paul Williamson 表示：“AI 的革新已不再侷限於雲端。隨著世界的互聯和智慧化水平的日益提升，從智慧城市到工業自動化，在邊緣側處理 AI 工作負載不僅帶來顯著的優勢，其必要性更是不可或缺。專為物聯網打造的 Armv9 邊緣 AI 計算平臺的推出，標誌著這一發展趨勢邁入了重要的里程碑。”
Arm Cortex-A320 CPU 的推出具有重要的里程碑意義。作為首個基於 Armv9 架構的超高能效 CPU，這一突破性的處理器為功耗有限的裝置引入了此前僅在尖端移動計算解決方案中使用的先進功能，使其在人工智慧 (AI) 處理、安全性和整體能效方面均實現了顯著提升。
鑑於已有其他 Arm 處理器在為多樣化的邊緣側和端點裝置提供良好支援，為何還要將 Armv9 功能引入一款服務相同目標裝置的處理器技術中呢？答案是順 “時” 而為。
當今的物聯網 (IoT) 環境對邊緣裝置的需求更勝以往。智慧攝像頭需要在本地執行復雜的計算機視覺演算法；工業感測器須處理複雜的機器學習 (ML) 模型以進行預測性維護；即使是簡單的端點裝置，也越來越離不開增強的安全性和虛擬化功能。這些不斷變化的需求使得 Armv9 的先進功能不再只是錦上添花，而是新一代物聯網創新的必備條件。
Armv9 架構將 Cortex-A320 的革新功能帶到了邊緣側，透過可伸縮向量擴充套件 (SVE2) 等關鍵的 Armv9 特性，增強了 AI 和數字訊號處理 (DSP) 效能；同時，它還利用了記憶體標記擴充套件 (MTE) 以及透過 Secure EL2 (S-EL2) 提供的先進虛擬化支援等全面的安全特性。這些功能與 Cortex-A320 高能效的微架構相結合，使其能夠維持嚴格的能耗預算，並同時為邊緣 AI 處理開創新的可能性。
邊緣 AI 普及面臨的最主要障礙之一是軟體開發和部署的複雜性，這正是 Armv9 邊緣 AI 計算平臺軟體生態系統發揮優勢的關鍵所在。Arm 將 Arm Kleidi 擴充套件到物聯網，這是一套面向 AI 框架開發者的計算庫，旨在最佳化基於 Arm CPU 的 AI 和 ML 工作負載，無需開發者額外操作。KleidiAI 已整合到常見的物聯網 AI 框架中，如 Llama.cpp 和 ExecuTorch 或 LiteRT（透過 XNNPACK），加速了 Meta Llama 3 和 Phi-3 等關鍵模型的效能。例如，在 Llama.cpp 上執行微軟的 Tiny Stories 資料集時，KleidiAI 為新的 Cortex-A320 帶來了高達 70% 的效能提升。
這些提升至關重要，因為在當今快節奏的技術環境中，產品的上市速度往往決定其成敗。新的邊緣 AI 計算平臺確保了與更高效能 Cortex-A 處理器在軟體層面的無縫相容。這種可擴充套件性使開發者能夠打造可隨需求變化而靈活調整的解決方案。藉助龐大的 Armv9 生態系統，以及與 Linux 等功能豐富的作業系統和 Zephyr 等實時作業系統的相容性，開發者擁有了前所未有的靈活性。他們可以充分利用現有的工具和知識，以及軟體複用的優勢，從而加快產品上市時間，並降低總體擁有成本。全球範圍內有 2,000 多萬活躍的 Arm 開發者，這為未來的技術創新提供了巨大潛力。
展望未來，顯然 AI 的未來趨勢將轉向邊緣，而全新 Arm 邊緣 AI 計算平臺將成為新一輪物聯網創新的催化劑。Armv9 架構的特性、先進的 AI 功能和全面軟體支援的結合，為 OEM 廠商和開發者創造了新的可能性。
該平臺能夠支援基於智慧體的 AI 應用上執行經過調優的大語言模型 (LLM) 和小語言模型 (SLM)，從而開闢全新類別的邊緣應用場景。在未來的場景中，智慧決策將更接近資料採集源頭，這不僅能顯著減少延遲，還能有效提升隱私保護水平。
這不僅僅是一次漸進式的進步，它代表著行業對邊緣計算和 AI 處理方式的根本性變革。這是行業首次迎來專為物聯網應用最佳化的 Armv9 CPU，將超高能效與先進 AI 能力結合，實現了前所未有的突破。