作者：
Joseph Soriaga博士 高通技術公司技術高階總監
Pat Lawlor 高通技術公司技術市場總監
生成式AI時代已經到來。生成式AI創新正在持續快速發展，並逐步融入人們的日常生活，為使用者提供增強的體驗、提高生產力和帶來全新的娛樂形式。那麼，接下來會發生什麼呢？本文將探討即將到來的生成式AI趨勢、正在賦能邊緣側生成式AI的技術進步和通向具身機器人之路。我們還將闡述高通技術公司的端到端系統理念如何處在賦能下一輪終端側創新方面的行業最前沿。
生成式AI能力正在持續多維度提升
即將到來的趨勢和終端側AI的重要性
Transformer因其可擴充套件性，已成為主要的生成式AI架構。隨著技術的不斷演進，Transformer正在從傳統的文字和語言處理擴充套件到更多模態，帶來了全新能力。我們正在多個領域看到這一趨勢，比如在汽車行業，透過多攝像頭和鐳射雷達（LiDAR）的協同實現鳥瞰視角；在無線通訊領域，利用Transformer結合全球定位系統（GPS）、攝像頭和毫米波（mmWave）訊號，以最佳化毫米波波束管理。
另一個主要趨勢是生成式AI的能力在這兩方面持續增強：
- 模態和用例
- 能力和KPI
在模態和用例方面，我們看到了語音UI、多模態大模型（LMM）、智慧體、影片/3D的提升。在能力和KPI方面，我們看到了更長上下文視窗、個性化和更高解析度的提升。
為了充分實現生成式AI的全部潛能，將這些趨勢能力引入邊緣側終端對於實現時延改善、互動泛化和隱私增強至關重要。例如，賦能具身機器人與環境和人類實時互動，這就需要利用終端側處理確保即時性和可擴充套件性。
我們正在透過多種技術最佳化模型，賦能高效終端側AI
面向生成式AI的邊緣平臺技術進步
我們如何將更多生成式AI能力引入邊緣終端呢？透過多維度技術研究，高通將全面推進面向生成式AI的邊緣平臺發展。
我們致力於透過知識蒸餾、量化、投機取樣高效的影像和影片架構，以及異構計算等技術最佳化生成式AI模型，使其能夠在硬體上高效執行。這些技術相輔相成，因此對從多角度解決模型最佳化和效率挑戰至關重要。
以大語言模型（LLM）的量化為例。大語言模型通常以16位元浮點進行訓練。我們希望在保持準確度的同時壓縮大語言模型，以提高效能。例如，將16位元浮點（FP16）模型壓縮為4位整數（INT4）模型，能夠將模型縮小4倍，同時降低記憶體頻寬佔用、儲存、時延和功耗。
量化感知訓練結合知識蒸餾有助於實現準確的4位大語言模型，但如果需要甚至更低的bits-per-value指標，向量量化(VQ)可幫助解決該問題。向量量化在保持期望準確度的同時，進一步壓縮模型大小。我們的向量量化方法能以INT4線性量化的相似精確性，實現3.125 bits-per-value，實現甚至更大的模型能夠在邊緣終端的DRAM限制內執行。
另一個例子是高效影片架構。高通正在開發讓面向終端側AI的影片生成方法更高效的技術。例如，我們對影片到影片生成式AI技術FAIRY進行了最佳化。在FAIRY第一階段，從錨定幀提取狀態。在第二階段，跨剩餘幀編輯影片。最佳化示例包括：跨幀最佳化、高效instructPix2Pix和影像/文字引導調節。
通向具身機器人之路
高通已經將生成式AI的相關工作擴充套件到大語言模型及其相關用例研究，尤其是面向多模態大模型(LMM)整合視覺和推理。去年，我們在2023年國際計算機視覺與模式識別會議(CVPR 2023)上進行了支援基於實時視覺大語言模型的健身教練技術演示，我們在近期還探索了多模態大模型針對更復雜的視覺問題進行推理的能力。在此過程中，我們在存在運動和遮擋的情況下推斷物體位置方面取得了行業領先技術成果。
然而，與情景式智慧體進行開放式、非同步互動是一項亟待解決的挑戰。目前，大多數面向多模態大模型的解決方案只具備以下基本能力：
- 僅限於離線文件或影像的基於回合的互動。
- 僅限於在視覺問答式(VQA)對話中進行現實的快速抓拍。
我們在情景式多模態大模型方面取得了一些進展，這些模型能夠實時處理直播影片流，並與使用者進行動態互動。其中一項關鍵創新是針對情景式視覺理解的端到端訓練，這將開闢通向具身機器人之路。
未來將有更多終端側生成式AI技術進步
高通的端到端系統理念處於推動邊緣側生成式AI下一輪創新的行業最前沿。我們持續進行研究，並將新技術和最佳化快速引入商用產品。我們期待看到AI生態系統如何利用這些新能力，讓AI無處不在，並提供更佳體驗。
（驍龍、高通、以及其他Snapdragon與Qualcomm旗下的產品是高通技術公司和/或其子公司的產品。高通的專利技術是由美國高通公司授權。）