ISP 處理器作為移動端裝置重要的影像處理構成，在自動駕駛領域開始扮演重要角色，「當前市面上已有的車規級影像處理器影像處理效果不能滿足自動駕駛深度學習演算法的需求」，達摩院自動駕駛實驗室，高階技術專家 丁虎平（廣瞻）向機器之心談道。
近日，阿里達摩院首款自研 ISP 處理器正式釋出。
據悉，該款處理器支援 200 萬畫素影像處理，可同時處理 6 個攝像頭資料傳輸，透過 3D 降噪和影像增強演算法，影像識別能力比業內主流 ISP 處理器有 10% 以上提升，保障自動駕駛的車輛在夜間擁有更好的「視力」，提升自動駕駛安全性。
目前，該處理器已經用於自動駕駛物流車業務場景，未來有望進一步將運用在新零售、智慧家居等場景，並可能會整合到 SoC 晶片上。
撰文 | 凡雪、四月
編輯 | 四月
近日訊息，阿里達摩院首款自研 ISP (Image Signal Processor) 處理器正式釋出，該處理器將搭載於車載攝像頭，支援 200 萬畫素影像處理， 6 個攝像頭資料的同時傳輸。
目前已經運用於阿里自動駕駛物流車業務場景，可支撐無人物流車全天候運營，並進一步擴充自動駕駛的生產環境。
之所以首先選擇物流場景落地，在於阿里經濟體擁有豐富的物流場景，例如淘寶、餓了麼、盒馬等業務都離不開物流配送，加之菜鳥也是一個智慧物流平臺，這為自動駕駛研發團隊提供了大量場景經驗。
此外，阿里旗下的業務涵蓋電商、物流、雲端計算等，使用者規模龐大，影像影片分析、搜尋等各種業務場景都亟待 AI 專用晶片，其中影像和影片對算力的需求尤其大，這為阿里研發 AI 晶片提供了先天優勢平臺。
以往豐富的自動駕駛場景經驗和亟需滿足需求的多元化 AI 場景，開啟了達摩院的造「芯」旅程。據機器之心瞭解，未來，該款 ISP 晶片有望應用到新零售和智慧傢俱場景。
一 解構達摩院 ISP 處理器技術
每當杭州夜色降臨，來自達摩院自動駕駛實驗室的無人車便上路，這些搭載著阿里自研 ISP 晶片的車輛在夜路上逐步最佳化升級。
所謂 ISP (Image Signal Processor)，即影像訊號處理器，是車載攝像頭的重要構成元件，主要作用是對前端影像感測器 CMOS 輸出的訊號進行運算處理。
ISP 處理器一般運用在安防，自動駕駛，手機、相機等領域，在手機、相機等傳統領域中，一般用作拍照，對實時性要求不高，在這種情況下，往往可以採取例如夜間長曝光時間的方法來達到較好的拍攝效果。
而在安防領域，場景往往是固定的，背景不涉及到運動，但自動駕駛場景全天候都處在運動狀態中，此外，自動駕駛尤其注重安全，因此，對於影像質量、資料傳輸和處理速度要求較高，需達到實時性要求。
達摩院自動駕駛實驗室，高階技術專家 丁虎平（廣瞻）向機器之心介紹，目前白天場景 ISP 晶片表現良好，但在夜間、陰天、道路光線複雜、天氣惡劣等極端情況下，ISP 晶片需要路測去發現並解決問題。
根據達摩院自動駕駛實驗室的路測結果顯示，使用達摩院 ISP 處理器，車載攝像頭在夜間這個最富挑戰的場景下，影像識別能力比業內主流 ISP 處理器有 10% 以上的大幅度提升，原本模糊不清的標誌物也得以清晰識別，降低漏檢、誤檢的可能。
測試顯示，達摩院 ISP 處理器 (左) 能夠識別更多的標誌物
車載攝像頭影像識別能力的大幅提升，進一步保障了自動駕駛的安全性，背後的技術是達摩院獨有的 3D 降噪和影像增強演算法。
達摩院ISP處理器路測效果
3D 降噪技術是由原先傳統的 2D 技術升級，即在原有的幀內降噪的基礎上，增加了幀與幀之間降噪的功能，使影像明暗部分的細節都更加清晰、更接近人眼看到的實際效果，運動估計是 3D 降噪的重要環節，精準的運動估計可以最大程度減小場景中運動物體因為幀間降噪引入的運動拖尾。
達摩院在此基礎上，同時對影像的噪聲水平進行準確估計，透過噪聲估計用以指導降噪強度，在保證降噪效果的同時最大程度保留物體結構以及邊緣資訊。
在影像增強方面，達摩院針對夜間場景，引入區域性對比度增強處理，在控制曝光時間的同時，對影像區域性進行對比度拉伸，既保證整體影像結構和細節，又可以減輕因長曝光引起的運動模糊。
丁虎平向機器之心介紹道，區域性對比度增強處理是達摩院在影像增強上的特色，與整體影像增強不同的是，它將影像分割成若干區域，針對區域性區域的灰度特徵進行增強處理。
他表示，目前在車規級影像處理器領域，該款晶片處於業界一流水平。
二 自動駕駛領域「後發者」阿里
早在 2014 年左右，彼時阿里巴巴在智慧汽車領域的佈局還較為保守——希望首先給汽車加裝智慧作業系統，讓其具備智慧操控、感知、服務等能力，相對成熟後再發力自動駕駛。
阿里一直在自主研發車載作業系統 AliOS，這一作業系統為斑馬智行以及榮威系列網際網路汽車提供了支援。
2014 年，AliOS 與上汽深度合作，2015 年，斑馬網路由阿里巴巴集團和上汽共同發起的智聯網汽車基金投資成立，斑馬智行便是由斑馬網路所打造的基於 AliOS 的智聯網汽車開放平臺；
2016 年 7 月，阿里同上汽合作釋出了「全球首款量產網際網路 SUV」榮威 RX5，基於 AliOS 打造的斑馬智行系統也首次出現在大眾面前；
榮威 RX5 中控搭載 斑馬智行系統
2017 年 12 月，阿里和福特汽車正式簽署戰略合作，雙方依託阿里達摩院對前沿基礎科技的研究，整合雲端計算、人工智慧等技術，透過 AliOS 作業系統與汽車的結合，提升駕駛體驗。
除了在車聯網領域的發力，阿里在 2015 年年底起，也開始了在自動駕駛領域的佈局。至今，經過四年多的打磨，現階段阿里達摩院自動駕駛實驗室聚焦在末端無人物流的場景，並已經將無人配送車產品逐步落地在大學校園。
雖然相比百度，騰訊，阿里的自動駕駛路線「姍姍來遲」，但好在阿里的技術的場景積澱較為豐厚。
對於自動駕駛而言，環境感知、高精度定位、決策規劃、智慧控制等都是必備技術，這也是達摩院自動駕駛團隊佈局的方向。
談到為何從 ISP 晶片角度切入研發，丁虎平向機器之心表示，從自動駕駛視覺場景角度看，ISP 要實現的是在複雜的道路光線環境/惡劣天氣環境下仍然可以得到滿足深度學習演算法所需要的影像資料；從感測器融合角度，預知影像感測器的曝光時間極其重要，可以保證雷達掃描到某一位置時刻同時觸發影像感測器曝光；而當前市面上已有的車規級影像處理器影像處理效果不能滿足自動駕駛深度學習演算法的這些需求。
而這款自研晶片正是達摩院在環境感知上的研究突破，它可以解決現有硬體方案效能不足的問題，進一步提升自動駕駛系統的安全性。
ISP 處理器就是達摩院在環境感知上的研究突破，它可以解決現有硬體方案低照度場景影像質量不足的問題，進一步提升自動駕駛系統的安全性。
此外，在丁虎平看來，阿里巴巴經濟體擁有豐富的物流場景，例如淘寶、天貓、餓了麼、盒馬等這些業務都離不開物流配送，加之菜鳥本身也是一個智慧物流平臺，這為自動駕駛研發團隊提供了大量場景經驗。
目前，達摩院 ISP 處理器已在自動駕駛物流車業務場景落地，未來可能會落地新零售如自動收銀機、智慧傢俱等場景，據丁虎平介紹，當遷移到相關場景時，需要對 ISP 處理器相關模組或演算法進行定製化即可。
ISP 處理器除了對自身業務的促進，對於行業來講意義也不小，據高工智慧產業研究院 (GGII) 研究院預估，攝像頭隨著 ADAS 滲透率的提升，市場規模由 2016 年的 20 億元增長到 2020 年的 58 億元，年複合增長率為 30%，搭載於其中的 ISP 處理器對於整個自動駕駛行業而言無疑有著重要推動作用。
據機器之心瞭解，當前，該款晶片主要用於自動駕駛物流車的相機系統中，未來是否出售或者 license IP 給其他廠商要遵循集團的相關政策。
三 從玄鐵到 ISP 處理器，達摩院的佈局之道
2018 年 9 月，阿里巴巴宣佈合併中天微、達摩院團隊，成立平頭哥半導體晶片公司。
中天微成立於 2001 年，旨在發展 32 位高效能低功耗嵌入式 CPU、以晶片架構授權為核心業務的積體電路設計公司，2018 年 4 月被阿里全資收購；達摩院是阿里在全球多點設立的科研機構，立足基礎科學技術的研究，成立於 2017 年 10 月。
成立至今，平頭哥已釋出基於 RISC-V 的處理器 IP Core 玄鐵 910、SoC 晶片平臺「無劍」和含光 800 晶片。
平頭哥釋出 AI 晶片—含光 800
2019 年 10 月，平頭哥宣佈開源低功耗微控制晶片（MCU）設計平臺，其中包含處理器、基礎介面 IP、作業系統、軟體驅動和開發工具等模組，搭載基於 RISC-V 架構的玄鐵 902 處理器，能提供 UART、SPI、I2C 等多種 IP 及驅動，還可讓使用者快速整合、驗證，減少基礎模組開發成本。
阿里旗下的業務涵蓋電商、物流、雲端計算、大資料等等。使用者規模龐大，影像影片分析、搜尋等各種業務場景都亟待 AI 專用晶片，其中影像和影片對算力的需求尤其大，這為阿里研發 AI 晶片提供了絕佳平臺。
此前平頭哥接連推出的玄鐵、無劍、含光都是晶片領域的不同產品，玄鐵解決指令集、演算法等架構問題，無劍是一個晶片開發平臺，它提供晶片開發的基礎設施，含光 800 是平頭哥真正意義的第一款 AI 晶片。
而此次推出的 ISP 是車載影像處理器，主要用於自動駕駛場景。除了應用場景不同，玄鐵 910、無劍 SoC 平臺可以幫助其它企業研發定製晶片，含光 800 則是雲端 AI 推理晶片，目前都已經完成市場對外輸出。
據丁虎平透露，達摩院這一款 ISP 處理器目前首先滿足自身自動駕駛業務需求，未來對外輸出形式尚未確定，「也有可能成為 SoC 晶片的一部分」，丁虎平補充說道。