vivo 完成了對於自研 AI 晶片的重要迭代。
對於旗艦手機來說,最好的晶片、螢幕和拍照能力缺一不可,各家廠商都要在此基礎上不斷開發獨門技術。在國內第二代自研晶片手機廠商的行列中,vivo 處於引領潮流的位置。
11 月 10 日,在雙芯影像技術溝通會上,vivo 向我們揭幕了下一代自研晶片 V2,並介紹了與聯發科在天璣 9200 上聯合研發的進展。
「當人們在影像、效能等場景提出更高要求時,vivo 希望把這些場景做好,並做到行業領先。vivo 自研晶片就是我們的底氣,」vivo 產品副總裁黃韜說道。
不論從速度還是能效上來看,V2 晶片都實現了大幅度的進步,更值得注意的是,在其之上 vivo 實現了 AI 晶片與 SoC 的高度協同,讓不同晶片第一次實現了完美配合,vivo 也讓天璣 9200 也發揮了超出常規的效能。即將搭載兩塊晶片的 X90 系列,或許將成為史上最強旗艦機。
自研晶片 V2,不僅升級,更是「真迭代」
給手機加上一塊 AI 晶片,能夠實現怎樣的改變?從技術角度看,獨立晶片由於「專精程度高」,將高需求演算法硬體化封裝,可以實現高速、低時延、低能耗的效果,完成超越體量的任務。
vivo 的獨立晶片對我們來說並不陌生:去年 9 月,vivo 推出的自研晶片 V1 開創了手機外掛 AI 晶片的技術形態,自研晶片被運用在影像領域,實現了頂尖的拍照效果。在今年 4 月隨熱賣機型 X80 系列推出的 V1 + 上,自研晶片的應用範圍從計算攝影延伸到遊戲與視覺能力等方面,加裝獨立自研晶片的做法很快成為了旗艦手機的「標配」。
在即將釋出的新一代旗艦機上,vivo 的領先幅度並沒有被縮小,看起來反而還在繼續拉大。今天釋出的自研晶片 V2 又為我們帶來了一系列黑科技。
與前兩代專注影像能力的設計不同,V2 是一顆從場景事件出發,針對高密度 AI 演算法算力需求量身定製的「低功耗 AI 加速晶片」。在這塊晶片中,vivo 在底層技術上對片上記憶體、AI 計算、影像處理三大單元進行了大幅升級,實現了全新的架構。
首先,在異構多晶片計算方向上,vivo 實現了重要突破。
AI 應用是手機上新興的算力需求大戶,獨立的 AI 晶片可以讓專用的算力去解決機器學習運算,但這是一種缺乏靈活性方式,而手機 SoC 上的 AI 算力部署較為靈活,卻難以滿足大密度運算的算力需求。vivo 系統架構師和工程師設計了 FIT(Frame Info Tunneling)雙芯互聯技術,將兩者的優點互補,實現了 1+1>2 的效果。
具體來說,vivo 工程師將體量較大、複雜的演算法模組拆分,把算力密度小、網路結構複雜的小模型透過軟體部署在平臺 NPU 上,算力密度大、資料吞吐密集的大模型部署在 V2 晶片上,讓不同硬體處理各自擅長的部分。
要想實現理想中的狀況並不容易:V2 晶片與平臺 SoC 說著不同的「語言」——晶片架構和指令集完全不同。在拍攝任務中,vivo 工程師需要透過 FIT 互聯技術讓平臺 NPU 對感測器和每幀畫面進行預處理和運動感知分析,V2 晶片則將 NPU 分析結果和高精度 Timecode 嵌入到每幀畫面中。在 vivo 雙芯處理任務的過程中,時延被降低到了百分之一秒內,實現了軟硬結合的高速協同計算。
其次,面對 AI 計算長久以來的瓶頸,vivo 也探索了新的方向。
在端側裝置處理 AI 任務時,資料的吞吐量需求極高。vivo 在 V2 的設計中加入了近存 DLA,其可以透過全硬化 MAC 設計和大容量專用片上 SRAM,強化算力密度和資料密度,以釋放平臺的算力容量潛力。得益於全硬化 MAC 設計,V2 的近存 DLA 在實際 AI 運算中能達到 100% 的 MAC 利用率。相比在平臺 SoC 軟體部署 AI 運算,8bit 算力密度提升了兩到三倍。
此外,vivo 還針對專業影片的 10bit 處理需求,在自研晶片 V2 中專門硬化了 10bit 的 MAC 單元——相比平臺 SoC 軟體部署所採用的合併運算方式,10bit 算力密度提升了 4-6 倍。
AI 計算還受到傳統架構馮諾依曼瓶頸(記憶體牆)的制約——過去 20 年中,硬體的峰值計算能力增加了 9 萬倍,但是記憶體 / 硬體互連頻寬卻僅提高了 30 倍,越新越複雜的演算法,面臨的瓶頸就越嚴重。
V2 晶片借鑑近存計算思想,壓縮了計算單元和儲存單元間的距離,在近存 DLA 內配套設計了專用片上 SRAM,速度高達 1.3 萬億 bit/s,讓 V2 的片上 SRAM 容量較 V1 提升了 40%,達到等效 45MB。
近存 DLA 的設計大幅減少了資料定址和搬運的功耗,與通常 NPU 採用的 DDR 外存設計相比,SRAM 資料吞吐功耗理論最大可以減少 99.2%。
算力和資料密度的雙重提升,以及多項低功耗電路設計方法的加持,讓自研晶片 V2 的效能在同等晶片製程條件下的表現遠超競品——核心每瓦算力在執行 8bit MAC 和 10bit MAC 時,分別達到了 16.3TOPS/W 和 10.4TOPS/W,實際工作中在部署相同演算法時,V2 相比傳統 NPU 能效比提升了 200%。
DLA 作為一個整體,實現了最合理的 AI 演算法處理架構。在晶片底層技術能力革新之後,vivo 自研晶片 V2 將傳統的 ISP 架構升級成為 AI-ISP 架構,帶來了全新的雙芯影像體驗。
「魔改」天璣 9200,劍指蘋果 A16
自研晶片的同時,vivo 還與晶片廠商對手機 SoC 平臺進行了聯合研發。
過去人們常說發哥晶片效能強,可惜沒人調,但今年的 vivo X80 系列讓聯發科衝高階獲得了成功。
就在本週二,聯發科釋出了下一代旗艦晶片天璣 9200,它是首款基於臺積電二代 4nm 製程工藝打造的 SoC,在效能和能效方面都提升到了前所未有的水平,vivo 也在活動中官宣即將成為該晶片的首發品牌。
天璣 9200 使用 1+3+4 的三叢集 CPU,CPU 效能提升超過 10%,同時大幅最佳化了能效,在微信、遊戲、錄影等高頻使用場景下功耗降低 15-20%。其 GPU 提升更加可觀,首發搭載了 Immortalis-G715,配置升級到 11 核,效能提升 32%,功耗最佳化 41%,另外還實現了硬體光追能力,帶來了更完美的遊戲體驗。
橫向對比來看,天璣 9200 的 GPU 效能要比高通驍龍 8gen2 稍強,兩者的 GPU 都超越了蘋果的 A16。這一代,安卓旗艦機終於在部分效能指標上處於領先位置了。
為了充分發揮硬體能力,vivo 與聯發科展開了密切合作,從使用場景出發將產品需求前置到晶片的規劃階段,在硬體層面上實現定製化,讓新款旗艦機在實際使用中達到了效能和功耗的完美平衡。
vivo 產品經理韓伯嘯表示,vivo 首發機型(據信為 X90)的跑分是 128 萬,比聯發科官宣的 126 萬還要高一些。
基於天璣開放架構,vivo 和聯發科深度合作研發了五大功能:MCQ 多迴圈佇列、王者榮耀自適應畫質模式、晶片護眼、APU 框架融合和 AI 機場模式。
在國民手遊王者榮耀上,vivo 推出了王者榮耀自適應畫質模式,利用遊戲自適應調控技術 MAGT 和 vivo 平臺服務與遊戲應用間的即時資訊交換,可針對遊戲的內容實現即時逐幀調控,進而達到自適應閉迴圈。
該技術實現了 FPS 救幀、Thermal 降載、Power 降載、冷卻等模式,開啟後可在極高畫質設定下增加手機續航時間並控制溫度。經過實測,自適應調控下的王者榮耀 120 幀模式,能穩定執行超過一個小時。
天璣 9200 也提升了 AI 能力,其第六代 APU690 算力達到 30TOPS,能效比相較上代提升 40%。基於新技術,vivo 實現了相機超清文件、實況文字、離線語音輸入法等應用。
vivo 在業內首次實現了語音轉換演算法 NPU 最佳化落地,支援全離線語音輸入,可以確保資料本地處理,保護了使用者隱私。對比目前通用的 CPU 方案,功耗最佳化 36%,效能提升了 76%。
最近一段時間,用 AI 加強手機訊號的方法成為了新方向,vivo 提出的 AI 機場模式讓手機透過感知 AI 引擎知曉使用者進入機場與飛機的起飛降落,再透過搜網 AI 引擎來準確識別目的地,並智慧調控搜網策略。開啟飛航模式時,手機平均節能 30%,再次開啟訊號後,捕獲網路的速度從 7.41 秒最佳化至 1.52 秒,時間縮短了 79%。
計算攝影新標杆:同樣的光學器件,更強的體驗
vivo 希望透過自研晶片與天璣 9200 的深度協同,把 X90 系列打造成全新一代影像標杆。從 V2 到蔡司 T* 鍍膜、VCS 仿生光譜技術再到自研的演算法矩陣,vivo 手機的整個計算攝影光路已進行了一次全面升級。
拍攝遠處景物一直是手機攝影的痛點,配合「超清畫質引擎」上的蔡司光學超分演算法,vivo 能根據不同手機型號上的拍攝模組特性做建模分析,透過逆運算動態調整,補償光學資訊,突破鏡頭工藝的上限。在演算法加持下讓 5 倍以上的焦段,拍攝解析力最高提升 35%。
在長焦拍攝的過程中,變焦的倍率越大,抖動也會被放大,Ultra Zoom EIS 技術可以消除抖動對拍攝的影響。它包含了 IMU(慣性測量單元)、OIS 光學防抖與 EIS 電子防抖三大模組:IMU 檢測抖動,OIS/EIS 抵消抖動,軟硬協同防抖。這使得 vivo 能在 20X 以上的倍率上實現抖動抵消,讓被攝主體在畫面中趨於平穩不晃動。
在運動檢測過程中,vivo 提出了更強大的運動檢測演算法,可實現肢體運動強度檢測和跟蹤,準確率提升 10%,透過深度學習演算法讓手機能夠思考、預判畫面中任務運動的趨勢,並及時鎖定畫面,在拍攝時自動幫助你抓住精彩瞬間。
在抓拍時,手機的快門延遲一般在 170-300ms,這意味著在同一時刻按下快門,專業相機出片完成後,手機可能仍未開始曝光。vivo 全面最佳化了拍照的影像處理管線,提升了相機啟動的速度,快門延遲被降低到了 30ms,達到專業相機水平,讓你按下快門就能迅速成片,所見即所得。
如果畫面中的可用資訊不夠多,AI 也可以幫你合成。vivo 的自適應多幀融合技術在一次按下快門時會生成多幀運動畫面,疊加自研的 RawEnhance2.0 演算法,可以把每一幀有用資訊疊加在一起,讓暗光運動的照片也沒有拖影。
這些只是自研晶片能力的一部分,V2 的多項突破性設計能最大化滿足 AI 大密度演算法算力需求。未來,vivo 還將繼續在多芯系統、單芯架構與應用 IP 上不斷探索,把極致能效覆蓋到更多應用中去。
引領移動影像 為什麼是 vivo?
vivo 高階副總裁、技術長施玉堅表示,vivo 要堅持不斷創新和最佳化產品、透過不設上限的持續研發投入,擴充消費電子行業人文與科技的邊界。
不知從何時開始,旗艦手機的競爭已經越過了影像和晶片能力的比拼,進入了自研技術體系的新階段,而這正是一條壁壘很深,需要長期積累的發展道路。
「vivo 很早就開始了自研之路,用了 5 到 6 年的時間才陸續有了 V1、V1 + 以及今天的 V2,」vivo 產品副總裁黃韜在釋出會上說道。「現如今,我們將自主研發與聯合研發相結合,與行業優秀夥伴合作就是為了帶給消費者更好的產品體驗。」
正是一直以來的堅持,讓 vivo 突破了技術邊界,在最卷的中國手機市場佔據了銷量第一的位置。
隨著不久之後 X90 系列的面世,想必 vivo 的領先之路還將繼續。