數字中國的視覺進階：ISP的來處與歸途

每次不知道該聊點什麼的時候，我就會去一些網站和社群溜達找找靈感，海外如WIRED、MIT News、mashable，國內如極術社群，都是我的大腦“充電站”。

這個週一，被選題按在桌前摩擦的我又去極術社群裡逡巡了，恰好就讓我發現了一個極為有趣的事情：一個名為《安謀中國“玲瓏”ISP處理器概覽》分享，在極術社群引起了開發者的熱議，各種問題在帖子下面建起了高樓。

無獨有偶，近兩年在產業界，我們也能發現ISP晶片變得越來越有存在感。蘋果、三星、華為等已經在產品中應用了自研ISP模組，OV小米等手機廠商在衝擊高階化程式中也加大了自研ISP領域發力。

ISP這個名詞可能有點陌生，但早已滲透在絕大多數普通人的日常生活。簡單來說，相機在採集影像時，會遇到許多影響影像質量的因素，噪音、色差、明暗等變化都會導致裝置無法還原出真實的畫面(所以不要再怪蘋果前置攝像頭把你拍醜了)。而ISP(Image Signal Processing) 影像訊號處理的作用，就是透過降噪、自動曝光、自動對焦、自動白平衡、影像銳化等操作，把感測器採集到的資料轉換成接近真實場景的數字流。

不難發現，ISP最為大眾所感知的應用，就是手機的攝影攝像功能了。那麼，在智慧手機在存量市場“內卷”的當下，攝影攝像似乎已經停留在高水平競爭很久了，這股ISP熱潮究竟是從何而來?為什麼會吸引如此多的開發者及廠商?又是如何影響中國智慧化程式的?

這是一個十分值得討論的話題，也將在接下來深度影響你我的數字生活。

緣起：重新審視ISP

佛教有云，一切有為法，皆待緣而起。ISP為各大晶片廠商，尤其是中國企業所重視，並不是沒有原因的。佛陀將緣起歸結於老死憂愁等苦難，ISP的“走紅”也與現實挑戰有著直接關聯。

第一重挑戰來自國際。在全球半導體貿易的不確定性當中，傳統的晶片架構和供應鏈都可能影響中國智慧產業的發展，因此，更自主可控的方案如ARM架構就取代傳統晶片方案成為手機、電腦、汽車等晶片的主流，而所謂處理器核心模組之一的ISP晶片，自然也面臨著新的市場需求和技術創新。

第二重挑戰來自國內。隨著AI、5G、雲端計算等技術的成熟，越來越多的行業場景開始應用上了計算機視覺技術，攝像頭變得無處不在。尤其是數字化建設如火如荼的中國，攝像頭、視覺感知等應用爆發式增長。比如在汽車自動駕駛輔助系統(ADAS) 、工業智慧製造、文件掃描、人臉識別、智慧監控等等多種社會服務中，都對影像質量提出了更高的要求，數字中國的發展，推動著ISP晶片以更低的功耗成本實現更高的解析度。

第三重挑戰來自使用者。當然，智慧手機的影像質量是大眾最常接觸、最具感知力的應用了。高速增長的影視技術，清晰度從720p飛速發展到4K乃至8K時代，直播、短影片、虛擬現實、AR等新應用的出現，也對ISP的效能、功耗、延遲等都提出了挑戰。對於智慧手機廠商來說，在媲美單反的基礎上，打造出差異化的影像能力，已經成為一道不容迴避的命題。

天時、地利、人和，三者皆備，ISP晶片自然也越來越受到開發者和廠商們的重視。

當下：數字中國需要怎樣的“眼睛”?

既然ISP需求增長的背景已經明確，那麼更符合當下產業及消費者需求的ISP晶片，其特徵也就呼之欲出了：

更高的可控度。不僅要在供應鏈層面保證各個廠商應對不確定性的需求，還要包含差異化影像能力的軟硬體基礎，從而最大程度降低下游廠商的產品研發風險與成本。比如安謀中國就面向中國市場，以ARM架構為基礎自研了“玲瓏”多媒體產品線，來賦能本土自主創新。

更高的效能。透過更先進的技術，滿足工業、自動駕駛、安全監控等對影像畫質高精度的需求，比以往更加強大和精確。以自動駕駛為例，就需要捕捉非常大的視覺動態範圍，並且比人眼更精準地識別暗處和明亮的影像細節，以保證行車及路人的安全。

更低的功耗。無論產業應用還是個人移動終端，都對功耗比較敏感，耗電、發熱等問題都可能影響整體部署成本和使用者體驗，這就要求ISP的創新不能以能效為代價，以更好地滿足數字化轉型中的現實需要。

如此看下來，ISP的技術創新難度並不簡單，需要技術人員一點一滴地突破，難怪能引發不小的專業討論。

未來：ISP的技術展望

縱觀極術社群中圍繞玲瓏ISP展開的討論，廣大開發者比較關心的話題，大多圍繞在3A演算法是否在ISP裡運算，哪些場景下需要單獨的ISP晶片，機器學習對ISP晶片的影響等等。

從中，我們也可以看到ISP晶片未來幾個比較明確的創新方向。

一是3A演算法的不斷升級。

想要提升成像質量，3A演算法即自動對焦(AF)、自動曝光(AE)和自動白平衡(AWB)，起到了十分重要的作用。比如說，當感測器將影像資訊傳遞給ISP晶片時，自動判斷是否對明亮或暗處的畫素採取行動，能夠讓計算機視覺系統做出更準確的判斷。

以安謀中國本土團隊自主研發的“玲瓏”i3/i5 ISP 處理器為例，就透過3次曝光HDR，將一個場景的長時間、中時間、短時間曝光合成一幀，從而在逆光等寬動態情況下，對明暗區域都能夠很好地記錄，從而在寬動態範圍、低光降噪等方面獲得不錯的表現。說人話就是，逆光拍攝相機也能看清你的美。

第二個技術趨勢，是從整合向外接演進。傳統ISP晶片被整合在處理器內，隨著高畫素、高畫質的需求出現，CIS感測器的尺寸也變得越大，外接獨立ISP在功耗上更具優勢。不過，相比內建方案，成本更高、開發週期也較長，這就需要晶片廠商進行取捨。

第三個技術趨勢，是ISP與AI的結合。將感測器資訊轉化為影像是一個複雜的過程，ISP往往有成百上千個不同的引數進行調整。而前面提到，視覺感知在各行各業中的應用越來越廣泛，不同的鏡頭和感測器具有不同的特性，這時候為特定相機系統進行最佳化調整、開發針對性的晶片產品，就變成了一項極具挑戰性的任務。所以將AI處理器的智慧分析能力與ISP的訊號處理能力，能夠達成更強大的成像效果。

由此則產生了第四個技術趨勢，那就是定製化支援。如前所說，，ISP可應用場景越來越多，不同的場景對應著不同的能力需求，使得通用性的ISP難以全面通吃，這就要求IP開發廠商能夠與服務垂直行業的開發者保持緊密溝通與及時響應，來打造更具靈活性、定製化的產品。

今天，中國正在以舉世矚目的速度進入到智慧時代，被數字化的物理世界不僅僅是消費者手機中的一張張圖片，還是各個行業智慧機器“眼中”不可或缺的數字養料，滋養著整個中國的智慧水平。

從這個角度看，ISP晶片已經成為中國智慧產業不可忽視、不容錯過的一張底牌，等待著更多有識之士去探索和解密。