影像戀上智慧：麒麟9000中的高甜CP創新

在移動晶片發展歷史上，始終有這樣一個趨勢：伴隨著智慧手機的升級，移動SoC的組成模組越來越多，製程上不斷挑戰摩爾定律極限。

但是看多了幾大廠商之間的晶片鬥法，見慣了引數不斷上升、模組不斷增多、製程奈米數不斷下降，似乎也是有點乏味。難道移動晶片的創新之路，就沒有其他方向可走了嗎?

今年大家最關心的移動晶片，毫無疑問是麒麟9000。這款晶片採用了5nm工藝製程，整合153億電晶體，在效能、AI、拍照等能力上都有大幅創新，各位想必也瞭解過很多了。但在麒麟9000的創新中，有一項卻是跟其他晶片完全不同的。那就是麒麟9000在業界首次實現ISP+NPU融合架構。

移動晶片中的融合架構創新，這個說法大家似乎很少聽到，那麼理解起來可能也難免生澀。但其實，麒麟9000中的這個創新，不僅將直接帶給華為旗艦機，比如Mate 40系列使用者以全新的影像體驗，還指向著移動晶片與產品能力高度同頻、智慧與影像能力全面融合，這兩個在今天非常核心的行業趨勢。

或許可以說，麒麟9000中的ISP邂逅NPU，不僅是一枚晶片，幾款手機的事，更是未來智慧手機發展中的一種確定性未來。

為了幫助大家理解這個技術創新，我們們今天就換個路子：我們把ISP和NPU想象成偶像劇裡的男女主角。這個架構融合就約等於組CP。順著這個思路，我們們來聊三個問題：

1、 這對CP有什麼緣分?

2、 他倆牽手需要跨過哪些障礙?

3、 CP成了之後，能給觀眾發哪些糖?

好，我們們這就開始。

緣分註定多時：ISP與NPU的邂逅

話說，整個一塊移動SoC中，一般來說有這麼幾位成員：CPU、GPU、基帶，ISP模組，以及這幾年最火熱的AI處理單元NPU。

其中ISP是手機拍照的必需品，堪稱智慧手機時代的江湖老男神;而NPU則是剛剛出道幾年的少年俠女，興致勃勃要闖出一片新天地。

看過電視劇的都知道，男女主就得看著有區別，不在一個路子上，這樣邂逅之後才有CP感。ISP和NPU正是如此。雖然ISP和NPU，兩大部件看似處在不同的道路上，但它們在目前這個週期中卻有相遇的必然性。

一方面，傳統的手機端ISP開始面臨一系列瓶頸。比如對暗光拍攝的高要求，就為晶片硬體處理效能提出了更高要求。再比如為了解決手機攝影的進光量問題，近兩年興起了RYYB感測器，傳統ISP已經無法應對其中Y畫素蘊含的色彩資訊容量。或許可以說，影像的世界太複雜，傳統ISP有點撐不住了。

另一方面，AI演算法也在面對越來越豐富的影像處理任務時，通過深度網路對逐個畫素特徵的學習和表達，大幅提升了畫質。所以在今天，影像與視訊處理過程中需要大量AI演算法的計算，而ISP本身在很多工上不具備NPU的計算效率，就需要通過ISP與其他模組間的計算傳輸來支撐複雜的圖形影像演算法，最終導致要麼犧牲演算法強度，要麼造成處理延遲，都會導致使用者體驗變差。觸控到天花板的ISP，必須完成一些變革才行。當然，ISP本身也在發生不少變化，比如麒麟9000裡採用了新一代的ISP 6.0影像處理器。但這還不夠，為了讓ISP能夠發揮出跟上時代的價值，需要給他安排一場邂逅。

邂逅的物件，就是近幾年風頭無兩的NPU。NPU在移動SoC中正處在高速進化階段，比如麒麟9000中，華為達芬奇架構升級到了2.0版本，實現了NPU算力的再次翻倍，以148分的成績重新整理了蘇黎世聯邦理工學院AI Benchmark排行。

而實力雄厚的NPU，正在雄心勃勃瞄準著新機遇。AI處理能力需要與具體的任務和體驗結合，才能讓使用者真正感覺到智慧的魅力。而在一系列任務中，影像是與AI結合關係最緊密的一點。而AI計算需要跨越的主要挑戰，就是高效和實時化的影像處理。

從這個關係可以看到，ISP需要更強大的AI計算能力來完成突破，NPU則需要與影像處理更緊密的聯絡來發揮自己的潛力，兩者的緣分其實早就註定。

從這點來看，麒麟9000的ISP+NPU融合架構雖然是行業的全新突破，但從產業邏輯上卻是一種必然的邂逅。

為了滿足這場邂逅的充分必要條件，麒麟9000還需要完成一系列挑戰。

嗑CP的準備工作：新架構，新挑戰

俗話說，沒有世仇的羅密歐與朱麗葉是無聊的，沒有挑戰的CP感也是乏味的。

ISP+NPU的架構融合，可以有效解決今天手機使用者關於攝影的核心需求：一是提升了AI能力，讓視訊拍攝也可以獲得AI支援;二是讓華為提出的RYYB感測器更加出色，將攝影的細節色彩還原和暗光拍攝能力再次提升。

但這樣的價值卻並不容易實現，ISP與NPU的架構融合，還需要克服一系列的技術挑戰，在多種高精度因素之間尋求最合適的平衡點。讓我們繼續磕偶像劇的思路，把ISP和NPU的架構融合挑戰，想象成情侶間經常碰到的三個困難場景：

1、性格：性格不合，是很多情侶遇到的第一個問題。而AI的性格就是演算法。ISP+NPU融合新架構，首先就是要找到適合這個新架構的演算法。要知道，ISP作為影像處理單元，在架構融合之後要給NPU輸入非常龐大而複雜的資料。為了能穩定有效地處理這樣的資料，NPU需要確保運算中的魯棒性，還需要提升執行效率。這就需要開發團隊最大化讓NPU的演算法模型與硬體配合，確保NPU和ISP性格合適，相處得來。

2、能力：在ISP+NPU的融合架構裡，一個重要目標就是滿足視訊拍攝時的AI處理。而這需要NPU具備足夠強的能力，也就是充沛的計算能效。比如說在如30fps場景下，整個ISP鏈路必須在33ms內完成單幀計算工作。這就留給AI處理演算法的時間很短。如果計算效能不達標，將產生極大的卡頓問題。所以說，NPU足夠強勁，能夠支撐起足夠的計算能效，是新架構面對的第二個挑戰。

3、錢包：情侶在一起，不能很快就把家底折騰沒了。對於ISP+NPU的新架構來說，就是不能以過度的耗電為代價執行新架構。否則手機的耗電和發熱問題會嚴重影響使用者體驗。因此架構突破還必須約束在一定的能效範疇內，不能三兩下耗光手機電池的“錢包”。

這些因素的相互影響與制約下，麒麟9000的開發團隊必須在算力、演算法、能耗間取得一個精準的平衡點，才能達成ISP+NPU的創新。

眾多技術創新背後，其實都是帶著枷鎖起舞。麒麟9000的ISP+NPU融合架構也是如此。只有在嚴苛的平衡條件下，AI計算能力和影像處理能力，才可以由原本的普通合作關係，變成一體化的高甜CP。

一系列使用者體驗的創新，都由此開始。

影像智慧高甜時刻：麒麟9000帶給使用者的質感

下面我們來回答最重要的一個問題：ISP和NPU這一對，跨過了這麼多艱難也要在一起，究竟能給廣大觀眾帶來點什麼?

事實上，晶片是手機產品與應用的想象力基礎，真正的手機創新往往要從晶片開始。我們回到使用者的視角中，會發現麒麟9000的架構創新重新打破了我們對手機影像能力的常識界定，並且將近幾年備受矚目的技術路徑推到了更成熟的階段。

對於使用者來說，麒麟9000中ISP+NPU的高甜CP，帶來了這樣幾個關於視覺世界的全新質感：

1、 升級：完美支援RYYB色彩。

新的ISP+NPU融合架構，首先實現了用智慧計算的新方式，全面支援新型RYYB CFA。這讓RYYB的價值被進一步放大，使用者體驗更加具有一致性。使用者直接的感受是，日常拍照的細節和色彩還原將更加逼真，尤其是夜晚拍攝效果將得到又一次巨大升級。

2、開啟：視訊拍攝真智慧。

ISP+NPU融合架構將超強的細節還原、降噪能力帶入了視訊領域，並且讓暗光環境下拍攝的視訊更加清晰、細節展現淋漓盡致。在新架構的支援下，麒麟9000可以實現視訊拍攝智慧化水準，以及實時化效果質量的全面提升。開啟了智慧視訊時代色彩、清晰度、光線捕捉的全新水準。

3、 和諧：計算攝影與整機體驗更加適配。

ISP+NPU的融合新架構，讓計算攝影這個近幾年的核心議題，可以與手機的整體計算、能耗體驗更加適配，相互關係更加平衡。在提升攝影、攝像等視覺水準的同時，不以犧牲手機能耗為代價，細水長流，讓整體體驗更加順滑。

可以說，ISP+NPU的新架構是對計算攝影新的理解，是一次晶片架構設計創新，讓手機影像拍攝能力得到了一次全面升級，在追求所見極致化的路上走得更遠。而麒麟9000更深層的產業意義在於，它展現了新一輪的移動晶片變革可能性。在智慧手機行業中，晶片一般都是作為基礎部件，不會直接考慮手機產品本身的創新需求與方向。這是全球半導體行業分工導致的常態，但在華為這樣的全棧終端廠商崛起後，事情開始不斷髮生改變。

以麒麟9000為例，ISP+NPU的架構融合創新，更加適配華為終端產品採用的RYYB感測器、電影攝像頭解決方案、影像智慧等一系列新部件、新功能、新的產品方向。這展現出了華為在手機端與移動晶片端協同開發的全新高度。以使用者需求和使用者體驗為導向，晶片開發可以與手機發展高頻同步，即使需要跨越很高的融合難度，但最後依然可以把“甜美”的智慧影像體驗送到使用者面前。

另一方面，智慧技術與影像能力的融合，也讓移動晶片某種程度上反思一味追求多能力、高數值的傳統發展定式。

很大可能性上，ISP+NPU的融合架構創新，將是創造更多可能的開始。手機產業的軟硬體之間、系統與應用之間的聯絡正在更加緊密。

在這對CP成功牽手出道背後，我們能看到色彩的創新可能驅動晶片的更迭;AI演算法的演進也能帶來拍攝體驗的升級。整合化、一體化、智慧化，構成了未來智慧手機的康莊大道。

一條由麒麟9000開啟的，高甜的智慧+影像之路。