成像系統的解析力:
攝像頭最關鍵的指標之一。所有使用者拿到一張照片的時候首選看到的是照片清楚不清楚,這裡的清楚指的就是解析力。但是如果評價一個成像系統的解析力也是大家一直在探討的問題。目前主流的辦法主要有三種TV line檢測、MTF檢測以及FR檢測。
MTF:
MTF是Modulation Transfer Function的英文簡稱,中文為調製傳遞函式。是指調製度隨空間頻率變化的函式稱為調製度傳遞函式。傳遞函式最開始是為了說明鏡頭的能力。在各個攝像頭鏡頭中經常採用MTF描述鏡頭的MTF曲線,表明鏡頭的能力。這些曲線是透過理想的測試環境下儘量減少其它系統對鏡頭的解析力的衰減的情況下測試得出的。但是其實MTF也可以涵蓋對整個成像系統的解析力評價。MTF的值越接近於1,說明鏡頭的成像效果越好。
SFR:
SFR是 Spatial Frequency Response (SFR) 主要是用於測量隨著空間頻率的線條增加對單一影像的所造成影響。簡言之SFR就是MTF的另外一種測試方法。這種測試方法在很大程度上精簡了測試流程。SFR的最終計算是希望得到MTF曲線。SFR的計算方法和MTF雖然不同但是在結果上是基本一致的。
Cy/mm&LP/mm:
cy/mm和lp/mm都是進行解析度衡量的單位,具體含義:線對每毫米(lp/mm)、週期每毫米(cy/mm);此外,
常用到的解析度單位還有線對每毫弧度(lp/mr)以及週期每毫弧度(cy/mr)。
在上圖中,上半部分的是原影像,下半部分表示相機拍攝得到的影像。可以看出線對的邊緣經過鏡頭之後明顯變得模糊,並且線對越密越模糊,相應的MTF也就越低。cy/mm表示的就是在影像的一個毫米內有多少線對。此外,線對和畫素間距之間還可以進行轉換。
轉換計算過程:
假設現在 解析度為100cy/mm, 這意味著每毫米包含100個黑白相間的線對。一個線對包含一條黑線和一條白線。因此,如果一個毫米有100個線對,則每毫米有200條線(100條黑線和100條白線) 則,每條線的厚度為1000μm/200 = 5μm
對於單色圖片,我們可以認為5um是畫素對角線長度,假設每條線的厚度5 μm相當於畫素對角線的長度。為了獲得畫素間距(即畫素的邊長),我們需要將對角線長度除以√2。。為了獲得畫素間距,我們除以根號2,55um /√2≈3.54um。
彩色影像的典型值:
對於彩色影像,每個顏色通道(例如紅、綠、藍)的解析度往往是單色影像的一半。因此,通常的做法是將單色影像畫素間距除以2。
對於顏色應用,典型值是該值的一半,即5um / 2 = 2.5um。
SFR的具體步驟就是上面的九大步驟,箭頭中對應的是每一步執行前後對應的輸入和輸出。
總結如下:
0、獲取垂直斜邊的ROI
1、進行資料的歸一化
2、計算影像每一行的畫素矩心
3、對每行的矩心使用最小二乘法進行線性擬合,獲得一條關於矩心的直線
4、重新定位ROI,獲得ESF
5、對獲得的ESF進行四倍超取樣
6、透過差分運算獲得LSF
7、對LSF應用漢明窗
8、進行DFT運算
步驟解析:
- 獲取垂直邊緣的ROI:
上圖是專業的影像MTF測試圖,用紅色方框框起來的是測試卡用於計算SFR的部分,藍色小方框框起來的是我們應該獲取的具體RIO區域(具體就是黑白影像,中間有分界線,我們稱之為邊緣(Edge))
具體ROI影像如圖:
以及
這裡水平和垂直的Edge只是為了計算影像在水平方向和垂直方向的解析力,與演算法本身無關,因為水平的Edge會被進行90°旋轉後作為輸入,然後計算SFR的值。
1、進行資料的歸一化
在Sensor獲得影像之後,呈現出來的影像由於要符合人眼的感覺,會對影像畫素進行伽馬變換,使得其變成非線性的畫素資料,從而使影像的顯示更加符合人眼的感受。所以,當我們要進行sensor的成像解析力分析時,要先將影像處理成沒有經過伽馬變換前的。
一般sensor會對raw影像進行一個2.2的gamma變換,若我們想恢復原始影像時,我們只需要進行一個1/2.2的gamma變換即可。
2、計算影像每一行的畫素矩心
這一步的操作其實是為了計算出邊緣的位置。具體講來就是,我們會將圖片中的每一行畫素都計算具體的矩心位置。
可以看到,其實每一行畫素的矩心計算出來的結果,其實就是在黑白分界線的附近。
矩心對應位置:
shift[i]就是對應的第i行的矩心位置。
3、對每行的矩心使用最小二乘法進行線性擬合,獲得一條關於矩心的直線
就是根據你計算出來的那麼多個矩心的點,然後獲取分界邊緣的直線表示式。
我們知道用的是最小二乘法就可以了。最小二乘法公式如下:
最後獲得的其實就是上面的圖中那條紅色的線,略微有差距,可是基本上可以說是完全一致的了
4、重新定位ROI,獲得邊緣擴充套件函式(Edge Spread Function, ESF)
這一步其實比較複雜,我也不確定在我的講述之下,大家是否能夠聽懂,我嘗試用簡單的方式講解一下。
首先,轉換座標軸,將座標軸轉換到計算出來的矩心直線上。如圖所示:
5、對獲得的邊緣擴充套件函式(Edge Spread Function, ESF)進行四倍超取樣
然後,我們將每一行中X軸座標相等的畫素值累加起來,然後求均值後得到下面第一行的陣列。
這裡是將整張圖片的畫素轉換為一個長度為rows的陣列,然後進行4倍的擴增。然後其他沒有畫素的地方,是進行一個向前尋找非0的畫素值進行替換,這樣就獲得了ESF。
6、透過差分運算獲得LSF
這不用多說,就是得到的ESF陣列元素進行差分,獲得LSF。一下是函式公式:
7、對線擴充套件函式(Line Spread Function, LSF)應用漢明窗
對上面的LSF陣列進行漢明窗處理,這一步主要也是看公式,如下:
8、進行DFT運算
最後的到的SFR陣列就是空間頻域響應的值。
SFR是一種用於評估影像系統(例如相機或掃描器)解析度和銳度的方法。它透過測量系統對不同空間頻率(影像中的細節程度)的響應來評估影像質量。具體來說,SFR演算法通常包括以下步驟:
影像採集:使用被測系統拍攝特定的測試圖案,通常是斜邊(edge)或正弦波(sine wave)圖案。
邊緣檢測:在測試圖案中找到斜邊並提取出感興趣的區域。
邊緣剖面分析:沿著斜邊的法線方向提取灰度值,得到邊緣剖面(edge profile)。
邊緣擴充套件函式(Edge Spread Function, ESF):透過邊緣剖面計算得到邊緣擴充套件函式。
線擴充套件函式(Line Spread Function, LSF):對ESF進行微分得到線擴充套件函式。
調製傳遞函式(Modulation Transfer Function, MTF):對LSF進行傅立葉變換得到MTF,它表示系統對不同空間頻率的響應。
SFR計算:SFR是MTF的一部分,用於描述系統在不同空間頻率下的響應強度。
透過以上步驟,SFR演算法能夠提供關於影像系統效能的詳細資訊,幫助工程師和研究人員改進影像系統的設計和最佳化。
在自動對焦(AF)場景中,SFR演算法可以作為評價自動對焦效能的一種重要指標,尤其是在評估對比度自動對焦演算法時。
對比度自動對焦演算法通常透過分析影像的對比度來確定焦點位置。而SFR演算法可以提供更精細的資訊,例如評估系統對不同空間頻率的解析度能力和銳度。因此,它在以下幾個方面可以為對比度自動對焦演算法提供支援和補充:
精度評估:SFR演算法能夠量化影像系統對各種細節層次的響應,這對評估自動對焦的精度尤為重要。透過比較不同焦點位置下的SFR結果,可以確定哪一個位置產生了最佳的解析度和清晰度。
魯棒性分析:自動對焦演算法需要在各種場景和條件下保持魯棒性。SFR演算法可以幫助分析在不同光照、對比度和場景複雜度下自動對焦的表現。比如,在低對比度或複雜背景下,SFR分析可以顯示出哪些自動對焦演算法能夠正確地鎖定焦點。
最佳化引數:基於SFR分析的結果,可以最佳化自動對焦演算法的引數。
驗證與標定:在影像系統設計階段,SFR演算法可以用來驗證自動對焦演算法的實際表現是否符合設計要求,也可以用來標定不同系統之間的自動對焦效能差異。
因此,雖然SFR演算法本身並不是對比度自動對焦演算法的替代品,但它可以作為一個有力的評價工具,幫助理解和最佳化自動對焦演算法的效能,特別是在需要更細緻的影像質量分析時。
SFR演算法(Spatial Frequency Response)和對焦評價函式在影像處理和影像質量評估中有著不同的應用和目的:
SFR演算法
定義和目的:
SFR演算法用於評估影像系統的空間頻率響應。它透過測量系統對不同空間頻率的成像能力來分析系統的解析度、對比度和影像銳度等特性。
SFR曲線通常展示系統在不同空間頻率下的模傳遞函式(MTF),可以直觀地反映系統對細節的保留能力和邊緣清晰度。
應用場景:
主要用於影像系統的設計、製造和效能評估階段。
適用於相機鏡頭、影像感測器和整個影像處理鏈路的最佳化和測試。
計算方法:
SFR演算法通常涉及從測試影像中提取特定頻率的資訊,並透過比較輸入和輸出訊號的能量來計算系統的頻率響應。
對焦評價函式
定義和目的:
對焦評價函式是用來評估影像的焦點位置的指標。它衡量影像中目標區域的清晰度或對比度,並根據這些指標來判斷影像是否正確對焦。
常見的對焦評價函式包括基於影像梯度、頻域特徵或深度資訊的計算方法。
應用場景:
主要用於自動對焦系統、影像處理軟體和計算機視覺應用中,以確保影像在不同條件下(如光線變化、場景變化)都能獲得清晰的影像。
計算方法:
對焦評價函式的具體方法因應用而異,但通常涉及從影像中提取特定特徵,如梯度變化或頻率響應,然後將這些特徵與預期的清晰度標準進行比較。
區別總結
目的不同:SFR演算法旨在評估影像系統的空間頻率響應和分辨能力;對焦評價函式旨在衡量影像中焦點的清晰度或對比度。
應用場景不同:SFR演算法主要用於硬體設計和效能評估;對焦評價函式主要用於自動對焦系統和影像質量控制。
計算方法不同:SFR演算法通常基於空間頻率分析;對焦評價函式可以基於影像梯度、頻域特徵或其他區域性資訊。