化腐朽為神奇!揭開ISP影像處理的神秘面紗,基於瑞芯微RK3568J工業平臺!

创龙科技-黄工發表於2024-04-29

ISP影像處理前後影像對比

化腐朽為神奇!經過ISP影像處理的圖片前後對比是如此驚人!從下圖中可以觀察到,未經處理的原始影像偏綠且暗淡,而經ISP影像處理的影像能夠清晰地還原現場真實的顏色細節!

圖1 原始影像顯示效果

圖2 經ISP影像處理後顯示效果

ISP簡介

ISP(Image Signal Processor),即影像訊號處理,主要作用是處理前端影像感測器輸出的訊號,主要功能有線性糾正、噪聲消除、自動白平衡、自動曝光控制等,能在不同的光學條件下很好地還原現場細節。

ISP優勢

由於不同感測器的差異以及拍攝環境的多樣性,感測器輸出的原始資料和人們預期的影像有一定差距,因此ISP就起到了相當重要的作用。例如:夜間光照不足、大霧、沙塵等,均會使採集的影像造成影響,存在成像模糊、噪聲汙染及曝光不均等問題,而經ISP影像處理的影像會有明顯的最佳化。

RK3568J ISP功能介紹

RK3568J的ISP21模組支援標準的Sensor影像資料處理,包括自動白平衡,自動曝光,Demosaic,壞點矯正及鏡頭陰影矯正等基本功能,也支援HDR、去霧、降噪等高階處理功能。ISP21功能框圖如下圖所示。

圖3 ISP21功能框圖

RK3568J的ISP影像處理基於RKISP2.x Tuner工具對攝像頭採集的影像進行標定得到IQ引數檔案,透過IQ引數檔案將攝像頭採集的影像進行最佳化處理後傳送至顯示裝置。

RKISP2.x Tuner提供了一套便於使用者除錯ISP引數的工具,使用者可以在RKISP2.x Tuner中對所有ISP模組開展標定(Calibration)、除錯(Tuning)等工作。

圖4 RKISP2.x Tuner工具介面

使用者可以使用RKISP2.x Tuner提供的抓圖工具(Capture Tool)來拍攝RAW圖,在標定工具(Calibration Tool)中完成基礎模組的標定工作,在RKISP2.x Tuner中連線裝置,線上進行ISP引數除錯。

圖5 RKISP2.x Tuner除錯流程圖

RK3568J工業平臺典型應用領域

圖6 RK3568J工業平臺典型應用領域

ISP影像處理開發案例

本章節主要介紹瑞芯微RK3568J的ISP影像處理開發案例,使用的硬體平臺為:創龍科技TL3568-EVM工業評估板。
為了簡化描述,正文僅摘錄方案功能描述與測試結果,詳細產品資料請掃描文末二維碼下載。

功能說明

本案例基於RKISP2.x Tuner工具對攝像頭採集的影像進行標定得到IQ引數檔案,透過IQ引數檔案將攝像頭採集的影像進行最佳化處理後傳送至顯示裝置。

硬體連線

評估板預設已支援HDMI OUT顯示,請將評估板HDMI OUT介面連線至HDMI螢幕,使用FFC軟排線將MIPI攝像頭模組(型號為MCAM400)連線至評估板CAMERA介面,透過網線將評估板千兆網口ETH0 RGMII連線至路由器。硬體連線如下圖所示。

圖7

原始影像顯示演示

評估板上電啟動,執行如下命令將攝像頭採集的影像實時顯示至HDMI螢幕,該畫面是未經過ISP影像處理的原始畫面,如下圖所示。按"Ctrl + C"可退出程式。

Target#/rockchip-test/camera/camera_rkisp_test.sh

圖8

圖9 原始影像顯示效果

可以觀察到,HDMI螢幕實時顯示攝像頭採集的原始影像偏綠色且暗淡。

RKISP2.x Tuner工具除錯演示

以下主要介紹使用RKISP2.x Tuner工具進行標定處理。

開啟RKISP2.x Tuner工具,匯入原始影像後,進入CCM標定介面,然後設定飽和度,點選"Calibrate"開始標定。

圖10

標定完成後,點選"Result"頁面,可檢視結果。

圖11

可點選"Save"將新標定資料儲存至IQ引數檔案ov4689_RK-CMK-8M-2-v1_CK8401.json中。

備註:如需瞭解透過RKISP2.x Tuner工具建立及配置IQ引數檔案的詳細步驟,請參考我司提供的使用者手冊。

ISP影像處理效果演示

評估板上電啟動,請將IQ引數檔案ov4689_RK-CMK-8M-2-v1_CK8401.json複製至評估板檔案系統"/etc/iqfiles/"目錄下,然後重新啟動評估板。

圖12

進入評估板檔案系統,執行如下命令,將攝像頭採集的影像實時顯示至HDMI螢幕,該畫面是經ISP影像處理的顯示效果,如下圖所示。按"Ctrl + C"可退出程式。

Target#/rockchip-test/camera/camera_rkisp_test.sh

13

圖14 經ISP影像處理後顯示效果

可以觀察到,攝像頭實時採集的影像經過ISP影像處理後,顯示效果相比原始影像有明顯的最佳化。顯示效果跟實際測試環境以及IQ引數檔案配置有關,測試結果僅供參考。

相關文章