自研ISP晶片背後：手機廠商的目光在影像之外

網際網路界最熱鬧的大會——世界網際網路大會在今天開幕，想要了解整個網際網路最新的變化和趨勢，大傢伙這幾天可別錯過了。今天比較值得看的環節之一就是“全球科技成果發展風向標”的年度領先科技成果獎頒佈，這些獎項基本上是本年度最能代表前沿優質技術成果的展現。本次評選是從全球多個國家的300餘項成果中挑選，涉及5G、量子計算、高階晶片、高效能運算機、網路架構等多個領域，最終選出14項領先的網際網路科技成果。

筆者注意到今年有個“全球首個開源神經網路處理器指令集架構(NPU ISA)”的成果獲得殊榮。在半導體領域內，安謀科技作為行業領頭羊之一是媒體和行業關注的重點物件，憑藉在智慧計算晶片行業的創新，與合作伙伴推出全球首個開源神經網路處理器指令集架構(NPU ISA)，再次摘得“世界網際網路領先科技成果”獎。該NPU ISA在中國首發、全球開源，是人工智慧領域第一個開放的ISA，可以向AIoT、自動駕駛、智慧製造等應用場景提供可定製化的智慧計算晶片。

看完網際網路大會的頒獎內容，回到半導體領域的學習中，對於時刻需要關注前沿科技資訊的碼字工來說，必須要有幾個好一點的優質信源，極術社群是我們碼字工最常逛的科技社群之一了。在裡面瀏覽一番半導體的資訊，總會get到新知，收穫一些靈感，在社群人工智慧板塊有XPU、NPU、AI晶片、ISP等多種晶片分類內容，受到ISP分割槽內容的啟發，今天就先從ISP晶片聊起。

讀者朋友們可以發現，近日國內好幾個一線手機廠商釋出的新品手機比如小米和ov，其中拍攝功能宣傳的要點中都提及了搭載自家設計的ISP晶片，此前很多廠商都是以購買第三方高通、聯發科等廠商晶片為主，現在國內一線廠商都開始走自研之路。是什麼原因驅動一線手機廠商紛紛自研?做ISP是廠商選擇自研SoC的開始嗎?ISP晶片目前市場的競爭態勢和未來趨勢是什麼樣式?這是本文想要討論回答的核心。

自研ISP考量的價值

ISP(Image Signal Processor，影像處理器)是手機晶片系統中的重要組成部分，負責影像處理部分。ISP晶片一直是作為SoC晶片內建的模組存在，與CPU、GPU等單元整合在系統裡一起出售，基本上可以滿足大部分場景使用。隨著消費者的需求變更與廠家差異化打法的變化，很多廠商發現將ISP作為獨立單元進行影像的處理，可以實現自主可控。

此前大家都在高通和聯發科這些晶片廠商制定的引數規則裡面遊走，只能在整合的ISP模組特性進行適配和調整，此外ISP效能也受晶片整體升級規律的限制，更新的頻率不高，影像效能的引數在同一個框架下的結果就是其手機影像變化和功能日趨同質化。

對於消費者來說，除了在螢幕、快充以及整機效能外，影像功能可謂是選擇手機的重要影響因素之一。在硬體和演算法沒有什麼大的進步情況下，在ISP影像方面上面進行手機影像效能的提升和創意是廠商們一致的想法。舉例來說，想要提升手機照片的成像質量，搭載安謀科技中國本土團隊自研的“玲瓏” i3/i5 ISP晶片，就可以在一些極端場景比如逆光、暗室等寬動態環境，對明暗區域進行很好地記錄，從而在寬動態範圍、低光降噪等方面最終獲得不錯的成像。

拍照功能與影片影像等質量是決定消費者體驗的重要引數，我們也在各大手機品牌的新品宣傳中見識到對其自家拍攝效能的極盡展示，如何以差異化功能獲取使用者是每家手機廠商睜開眼睛就要思考的問題。想要實現效能和體驗的差異最大的問題就是要打破被ISP制約的情形。而蘋果、三星、華為等自研晶片的手機廠商以自己差異化功能的市場表現贏得高階市場使用者的青睞，這也給其他國內手機廠商啟示與強心劑：自研晶片是難而正確具有長遠價值的事情，必須要去做。

小米、ov等廠商無論是在新產品中搭載自家設計的ISP晶片還是在新聞中不斷宣傳造ISP芯，都在向市場釋放自研ISP手機晶片的決心，驅動手機廠商選擇自研ISP手機晶片主要有這四方面的價值考量：

1、手機廠商可以發揮的差異化空間增大，ISP晶片的效能決定了手機影像功能的差異化。相對於晶片廠商高通與聯發科等，手機廠商距離消費端更近，對功能場景與趨勢易把控，手機廠商自研ISP晶片可以與市場的需求變化調整同頻，其影像功能也就不再限於晶片廠商的晶片效能，手機廠商可以根據市場情況發揮差異化效能的優勢。

2、避免供應鏈的風險。華為手機市場份額的減少是其他一線手機廠商不想再經歷的風險，無論是貿易摩擦還是地緣政治、黑天鵝疫情等風險，自研ISP晶片的選擇讓手機廠商可以減少一些被不確定因素扼制的風險。

3、成本的優勢，手機廠商的出貨量動輒數十萬、百萬，自研ISP晶片的話可以繞過其他晶片廠商的定價權，減少晶片成本的支出。

4、 ISP相比SoC來說，技術的實現難度相對較低，花費的精力時間等成本更低，更容易實現。

手機廠商選擇自研ISP晶片無論是出於成本還是產品功能方面的考慮，都是讓自身在這個白熱化競爭的市場能有更好的表現，市場中有便宜好用的ISP晶片，而商家花費心血時間去自研ISP晶片也不僅僅是革新影像功能的目的，廠商們在積累晶片技術的前提下，更多的是戰略層面的考慮：未來可能向手機的心臟器件——SoC晶片進擊，從ISP晶片的突破口中逐步切入到SoC的研製中去。

從ISP循序漸進到SoC

自研ISP晶片只是手機廠商的打樣，野心家的目光在影像功能外，對於手機來說，核心的核心就是晶片，一旦出現任何不確定因素被卡喉嚨，企業就面臨生死存亡，因為貿易摩擦帶來的晶片卡喉，所有廠商都有危機感，自研晶片是需要戰略層面的出擊、佈局。

小米早在2014年就開始佈局自研晶片，成立專注手機晶片研發設計的松果電子子公司以服務手機SoC晶片，在2017年釋出了首款手機SoC澎湃S1，在小米5C手機中落地，但S1在效能、功耗等方面都有明顯不足。

在SoC晶片的折戟讓小米更加務實，在2019年小米開始研發ISP晶片，今年3月釋出的旗艦機小米摺疊屏手機MIX FOLD搭載了小米自研的ISP晶片澎湃C1，能夠實現更好的3A(自動對焦，自動白平衡，自動曝光)處理，自研ISP+自研演算法成為這款旗艦手機宣傳的賣點之一。小米的SoC晶片研發之路滿途坎坷，松果電子最終也重新進行了組織架構的調整，一部分團隊繼續保留，一部分團隊分拆出去進行IOT晶片的研發。但澎湃C1對小米來說的是一個新的轉折，小米的ISP晶片架構師左坤隆博士此前在採訪中表示ISP的研發只是起點，小米還是要回到手機心臟器件SoC的研發中，而這也是小米對手機晶片的未來戰略規劃。

一線手機廠商ov也不甘人後，分別在自研晶片道路上開始重金投入。9月6日訊息，vivo率先發布自家自研的ISP晶片V1，這是vivo自研的首款影像晶片，團隊300人經過兩年的研發ISP晶片才得以面世。在2019年vivo也曾與三星聯合研發了Exynos 980 5G SoC，無論是自研ISP還是與三星聯合研發SoC，vivo都開始在晶片技術積累的道路上鋪墊，至於未來是否向SoC進發vivo表示還不能確定，但晶片技術先行的趨勢，多手準備總是沒有錯的。

OPPO在晶片研發方面，於2019年就成立子公司ZEKU，據悉現下團隊人數已經兩千人，部分員工來自華為海思、紫光展銳和一些臺灣半導體企業。2020 年 2 月 OPPO 內部發文《對打造核心技術的一些思考》，首次提到晶片計劃的代號——“馬里亞納計劃”。OPPO將手機核心的晶片作為未來戰略思考的方向，只研製相對SoC來說簡單點的ISP晶片還是有點浪費這些資金人力的投入，OPPO的野心不止如此。成立兩年的子公司ZEKU也有做出成績，其ISP晶片據傳已經在今年初流片，未來可能會搭載2022年釋出的Find X5 手機上。除了ISP晶片外，OPPO方面也在同步推進研發SoC的計劃，以掌握手機核心技術未來或替代部分高通和聯發科晶片。

ISP晶片向SoC晶片進發的路坎坷難行，兩者從技術的維度上是數量級的差距，ISP只是單一的影像管理單元，而SoC晶片會整合CPU、GPU、NPU、ISP通訊基帶等模組，模組的設計與模組之間的適配涉及的技術很複雜。從時間的維度上來看，我們可以發現ISP晶片從無到有的實現基本上是兩年多的時間，新進入的手機廠商就可以拿出成品進行部分投放使用，但是SoC晶片的誕生到使用跨越的時間就需要新手十年起步的嘗試。SoC晶片的打磨可謂是跟攀登高海拔的雪山一般，一步步的腳印和一級級的臺階才能攀頂成功，沒有跳躍發展一口氣吃成胖子的可能。

雖然SoC的研發之路坎坷，參照海思的成功發展至少需要十年的時間耕耘，但是後發的手機廠商也在積累技術的道路上開始耕耘。無論是當下ISP晶片的自研，還是未來向著SoC晶片進軍，都需要時間的加持，晶片自研是一場曠日持久的戰鬥，資金、人才、技術、市場等因素缺一不可。

ISP晶片的競爭勢態

在ISP產業版圖中，除了現在正在崛起的自研ISP手機廠商蘋果、華為、三星等，主要有三類競爭勢力，一種是高通這類SoC晶片供應商，ISP模組已經被打包入內進行銷售，一類是ARM這類提供IP授權的供應商，還有一種ISP模組設計服務提供商。

現下，ISP晶片市場仍然是以高通三星聯發科佔據大部分市場份額為主，手機廠商們的自研晶片只是初嘗試給整個市場並沒有帶來大的衝擊，但是未來等到手機廠商的技術日趨成熟，開始廣泛應用到自家的產品，還是會給產業鏈造成一些影響：

1、手機廠商在自研晶片方面，主要是在晶片製造的前端進行研發，比如IP和設計端的再研發，未來的發展會將佔據一部分晶片廠商的ISP市場份額。

2、晶片廠商在IP方面擁有專利特權，自研晶片的手機廠商在一些IP專利上面無法繞過去，仍然會依賴晶片廠商，呈現雙方共同競爭但雙方分別佔據市場的局面，因為晶片廠商的先發優勢，市場份額還是晶片廠商佔據較大為主。

3、手機晶片的自研給晶片廠商帶來革新意識，激發晶片廠商對於手機晶片的研發創新和護城河的拓寬，無論是晶片的效能還是價格都會因為這個趨勢有新的變化。

未來ISP的競爭有無大的市場變化，還要看這些自研ISP手機廠商的技術發展，幾乎包攬整個手機市場的一線廠商出貨量不容小覷，雖然現在大家已經有自家的ISP晶片，但也只是小劑量的嘗試以展示肌肉，並沒有進行大規模的應用，規模使用產生的量變才會給整個ISP晶片市場帶來影響的質變。在對ISP市場的梳理過程中，我們也發現ISP晶片的未來走向趨勢，與AI視覺處理技術進一步地結合協同發展。

手機市場同質化的競爭白熱化到不能再白熱化，其影像功能的畫素已經突破億級，硬體與演算法短期內沒有大的浪花兒翻騰，手機廠商無論是從ISP開始突破還是未來逐步切入到SoC的深海，都釋放出新的訊號和思考變化：開始迴歸到手機的本質核心技術，如何構建底層的核心能力是未來大家贏得市場競爭的關鍵砝碼。現在投入的數億級資金，成百上千的高階人才等成本都是為提升未來競爭力，儘早卡位未來的市場。

手機作為消費電子的代表領域，這個下海晶片的豪賭競爭勢態也不斷反映出現下廠商在這個焦慮下的市場中想要透過抓住核心技術去變革，手機廠商的產品、商業模式、組織架構都會隨之迎來一些新的調整。無論最終的結局走向如何，這個路途艱難的選擇未來都會改變手機、晶片領域的市場格局。對於消費者來說，充分的市場競爭帶給我們豐富的產品，我們也會跟著享受越來越多各有特色的電子產品。