Dynamic Range Compression Preserving Local Image Contrast for Digital Video Camera
數字攝像機中保持區域性影像對比度的動態範圍壓縮
摘要
本文提出了一種新的數字攝像機動態範圍壓縮方法。該演算法的目的是在畫素和周圍注意力區域的亮度比來保持區域性對比度。通常,數字影片攝像機需要將陰影保持到中間範圍亮度,這樣的陰影區域往往包括主要物件,例如人臉區域。根據該要求,大多數數字影片攝像機已經採用拐點曲線作為動態範圍壓縮函式,僅壓縮拐點以上的高亮區域。但是這種方法具有嚴重降低高亮區域對比度的缺點。為了克服這一弱點,該演算法自動和自適應地增強高亮區域的區域性影像對比度。結果顯示,在不抑制陰影到中間亮度的情況下,逼真地再現了諸如藍天的高亮區域。
關鍵詞
數碼攝像機、動態範圍壓縮、拐點函式、區域性對比度
I.介紹
數字影片攝像機通常具有捕獲具有約200%至600%亮度水平的高動態範圍(high dynamic range, HDR)影像的能力,而大多數顯示裝置具有僅具有約110%亮度水平的低動態範圍(low dynamic range, LDR)。因此,動態範圍壓縮技術對於顯示由數字影片攝像機捕獲的影像是必不可少的。在許多情況下,透過動態範圍壓縮來保持陰影到中間亮度範圍中的輸入水平,從而不降低諸如面部區域的主被攝體的亮度。因此,大多數傳統的數字攝像機採用拐點曲線作為動態範圍壓縮函式。如圖1所示,該方法強烈地壓縮了拐點上的高光範圍,因此高光區域(例如天空區域)中的對比度大大降低。在此基礎上的改進演算法會使用自動拐點函式曲線。該方法旨在透過根據最大亮度水平或高光區域中的畫素數量調整拐點,自適應地為高光範圍分配更多的色調級別。然而,自動膝關節略微提高了高光對比度,而不是降低中間範圍內的亮度。
圖1 傳統拐點曲線和自動拐點曲線
這些技術是空間不變的演算法,與傳統的高動態範圍壓縮演算法[1-4]一樣,它們將單個色調對映曲線均勻地應用於整個影像。這些方法的優點在於它們的簡單性和計算效率,透過使用查詢表的一對一對映。然而,使用單調增加的色調對映曲線很難同時保持陰影和高光區域的視覺對比度。
另一方面,最近提出了一些空間變化色調對映演算法[5,6]。由於它們將不同的變換應用於影像的不同部分,因此它們實現了靈活的色調對映。一些以前的工作,如Fattal等人[7]表明,重要的是色調再現保持區域性影像對比度,這意味著畫素與其區域性周圍的亮度比。此外,Jobson等人[8]提出了一種基於Land的“retinex”理論[9]的動態範圍壓縮方法,該理論是亮度和顏色感知的視覺模型。他們的中心/環繞模型透過取畫素亮度與其低通濾波的對數比來去除空間變化的光源。Chiu等人也提出了類似的運算元[10]。然而,之前的大多數空間變化色調對映演算法都沒有闡明色調對映水平與區域性影像對比度之間的關係。因此,很難將這些方法應用於數字影片攝像機的動態範圍壓縮,因為基本色調對映曲線應易於控制,以保持陰影到中等的亮度對映,同時保持在任何亮度水平下,視覺對比度儘可能與原始相同。此外,以前的工作需要很多引數,充分設定引數也是相當困難的[11]。
為了解決這些問題,本文提出了一種新的數字影片攝像機動態範圍壓縮演算法[12]。
我們假設,如果在任何畫素的區域性對比度不改變,視覺對比度也被保留。基於這一假設,我們首先開發了一種新的運算元來保持區域性對比度。該運算元根據給定的基本色調對映曲線,自動增強區域性對比度,並在任何亮度水平下保持其接近原始影像。第二節介紹了這一運算元。
接下來,我們嘗試將此運算元應用於數字攝像機的動態範圍壓縮。特別地,為了保持高光對比度而不降低陰影到中間範圍亮度的質量,應當適當地確定基本色調對映曲線。第三部分介紹了數碼攝像機基本色調對映曲線的功能設計方法。
應用所提出的演算法,捕獲的影像在任何亮度水平都可以再現逼真的高對比度。在第四節中,實驗證明了所提出的演算法的效能。
最後,第五節介紹了結論和討論情況。
II.NOVEL OPERATOR FOR PRESERVING LOCAL IMAGEC ONTRA
視覺對比度高度依賴於區域性對比度,區域性對比度是指畫素與其區域性周圍的亮度比。但空間不變的色調對映曲線無法保持區域性影像對比度。另一方面,我們提出了一種新的運算元以保持區域性對比度。我們稱之為區域性對比度範圍變換LCRT(Local Contrast Range Transform)。
LCRT的概念如圖2所示。
圖2 LCRT概念圖
保持區域性對比度的數學條件描述如下。
這裡,\(f(x,y),f_{ave}(x,y)\)表示輸入影像\((x,y)\)處的亮度和區域性平均亮度,\(g(x,y),g_{ave}(x,y)\)分別表示每個畫素(x,y)的輸出亮度水平和輸出區域性平均亮度。透過對\((1)\)的兩邊取對數,等式重寫如下,
其中,\(F(x,y),F_{ave}(x,y),G(x,y),G_{ave}(x,y)\)分別表示\(f(x,y),f_{ave}(x,y),g(x,y),g_{ave}(x,y)\)的對數值。等式(2)表示在對數域中保持畫素值與其區域性平均值之間的差的數學條件。根據該條件,保持區域性對比度的色調對映函式應滿足以下等式。
其中\(P\big(F(x,y)\big)\)表示雙對數域中的任意色調對映曲線。該方程透過一階泰勒展開近似如下,
此外,假設近似滿足以下等式。
用\((4)\)和\((5)\)代替\((2)\),則匯出\((3)\)。
這裡,將\(P\big(F(x,y)\big)\)轉換到亮度域可表示為\(p\big(f(x,y)\big)\),\((3)\)被重寫為作為LCRT的基本公式的以下等式(參見附錄)。
在該等式中,右側的第一分量\(P\big(F(x,y)\big)\)根據其輸入亮度水平給出每個畫素的基本色調對映水平。另一方面,第二分量\(q\big(f(x,y),f_{ave}(x,y)\big)\)給出區域性對比度增強,並且可以描述如下。
當輸入亮度水平\(f(x,y)\)等於其區域性平均值\(f_{ave}(x,y)\)時,\((6)\)中的輸出亮度水平\(g(x,y)\)正好對映到基本色調對映曲線\(p\big(f(x,y)\big)\)上。該基本色調對映曲線\(p\big(f(x,y)\big)\)可以針對不同目的任意確定,因此該演算法非常靈活。一旦給出了基本色調對映曲線,第二分量\(q(f(x,y),f_{ave}(x,y))\)自動增強每個亮度級處的區域性對比度,以將其保持為與原始的對比度一樣。更具體地,輸入亮度\(f(x,y)\)與區域性平均值\(f_{ave}(x,y)\)的比率在處理前後保持一致。
此外,我們修改\((3)\)如下。
在亮度域中,該等式也被重寫為以下等式。
在這些等式中,$\alpha \(表示用於區域性對比度增強的增益引數。當\)\alpha $被設定為\(1.0\)時,等式\((9)\)和\((10)\)分別等同於等式\((6)\)和\((7)\),並且變換影像的區域性對比度被保持為與原始影像的區域性對比度一樣多。另一方面,對於$\alpha<1.0 $ ,區域性對比度增強較弱,$\alpha>1.0 \(時較強。根據應用的每個目的,該引數\)\alpha \(可以被確定為輸入亮度水平\)f(x,y)\(和區域性平均值\)f_{ave}(x,y)$的函式。
\((9)\)和\((10)\)中的區域性平均\(f(x,y)\)透過如下進行空間平均濾波器\(A(x,y)\)和輸入影像\(f(x,y)\)的卷積來計算,
在我們的基本模型中,以高斯濾波器作為空間平均濾波器,公式如下。
在該等式中,\(K\)是用於歸一化濾波器係數的增益因子,
此外,$\sigma \(表示確定核大小\)M\(的標準差。實際上,考慮到\)±2\sigma \(的擴充套件,對於\)\sigma \(的整數值,核大小\)M=4\sigma +1$應該是足夠的。
III.LCRT在數字影片中的應用
數碼攝像機要求滿足的條件是動態範圍壓縮,陰影到中間亮度範圍、包括主物件不會降低。為此會採用拐點曲線作為動態範圍壓縮函式,但是難以同時保持高亮區域的對比度。針對這一問題,本文提出了一種基於LCRT的動態範圍壓縮演算法。本節詳細介紹了確定數字攝像機和整個系統的基本色調對映曲線的實用方法。
A.數碼攝像機的基本色調對映曲線
通常,將傳統的拐點曲線應用於由相機伽馬處理的影像。因此,在本節中,我們將處理亮度由相機伽馬處理的域中的色調再現,我們稱之為相機伽馬域。
如前一章所述,一旦確定了\((9)\)中的任何基本色調對映曲線,我們就可以將LCRT應用於色調對映曲線,並在保持區域性影像對比度的情況下實現動態範圍壓縮功能。為了保持陰影到中間亮度範圍,優選地選擇傳統的拐點曲線作為基本色調對映曲線。然而,傳統的拐點曲線在拐點處的一階微分系數具有不連續性。如\((10)\)所示,為了保持由LCRT處理的結果影像的連續性,基本色調對映曲線中的訊號電平和一階微分系數必須是連續的。
為了滿足這個條件,我們提出了近似使用三次曲線的拐點曲線如下(見圖3)。
圖3 近似拐點曲線
在該等式中,字尾“\(_c\)”表示相機伽馬域中的值。因此,\(f_c(x,y)\)和\(p_c(f_c(x,y))\)表示相機伽馬域中的基本色調對映曲線的輸入亮度和輸出亮度。然後,\(t_c\)表示在同一域中將曲線從線性切換到三次的閾值。為了確定它們的係數,我們施加的條件,在閾值電平和最大輸入電平的合成亮度和一階微分系數應該等於那些傳統的拐點函式曲線。該約束描述如下,
其中,\(m_c\)表示最大輸入電平,\(s_c\)表示最大輸入電平處的傳統拐點曲線的微分系數,描述為
其中,\(k_c\)表示在傳統拐點曲線的拐點處的亮度級。透過求解\((15)-(18)\),計算得到如下三次曲線的係數\(a,b,c,d\)。
圖4顯示了與傳統拐點曲線近似的色調對映曲線。在該圖中,示出了\(m_c=2.0,k_c =0.9\)的常規拐點曲線。此外,還示出了\(t_c=0.15,0.25,0.35,0.45,0.55,0.65\)時的六種近似拐點曲線。如圖4所示,在閾值電平和最大輸入電平下,近似拐點曲線與傳統拐點曲線平滑連線。此外,它表明,閾值越接近拐點,陰影到中間亮度的範圍轉換越接近傳統的拐點曲線。然而,如果閾值電平設定得太大,例如\(t>0.35\),則近似拐點曲線超過傳統拐點曲線。當它具有比常規拐點曲線大的輸出時,即使應用LCRT,也變得難以再現具有高對比度的高亮區域。 因此,我們應該透過實驗選擇最大閾值,而不會過沖。
圖4 傳統和近似拐點曲線
B.LCRT在拐點曲線擬合中的應用
等式\((14)\)表示相機伽馬域中的輸入亮度和輸出亮度之間的關係。這些方程在亮度域中變換如下,
其中,\(\gamma\)表示照相機\(\gamma\),並且\(a,b,c,d\)由\((20)\)至\((23)\)給出。此外,\(t\)表示閾值,由$t=t_c^\gamma \(計算。\)(24)$的微分函式描述如下。
一旦確定了近似拐點曲線,就可以透過用\((24)\)和\((25)\)代替\((9)\)和\((10)\)來對其應用LCRT過程。這是我們提出的數字攝像機動態範圍壓縮演算法。
圖5 LCRT處理的近似拐點曲線
圖6 應用不同 α 色調對映曲線
另外,應當注意,輸出亮度沒有色調跳躍,因為近似拐點曲線保證了在任何亮度水平下輸出水平和一階微分系數兩者的連續性。
C.系統
圖7總結了所提出的演算法。我們的演算法在亮度域操作,同最傳統的動態範圍壓縮方法一致。因此,首先將捕獲的RGB影像變換為亮度分量Y。接下來,透過將近似拐點曲線應用於亮度分量Y來計算基本色調對映影像FT。同時,使用例如高斯濾波器的空間平均濾波器卷積到亮度分量Y以計算得到畫素周圍的區域性平均LA。根據\((10)\),計算區域性對比度增益CG以保持與原始的區域性對比度一樣多的區域性對比度。然後,將基本色調對映影像FT乘以區域性對比度增益CG,我們得到LDR亮度分量LD。最後,透過LDR亮度分量LD與輸入亮度分量Y的比率來修改捕獲影像的RGB通道,計算得到的RGB影像。
圖7 本文演算法完整系統
IV.實驗結果
我們測試了我們提出的演算法的效能。在這個實驗中,我們使用的數位相機富士Finepix F710,以捕捉高動態範圍的影像。這款相機有兩個感測器,S(敏感)和R(範圍)感測器,彼此相鄰。S感測器就像普通感測器一樣,R感測器靈敏度較低,並擴充套件了捕捉照片明暗的能力。首先,我們校準了這兩個感測器。然後,我們將S和R感測器捕獲的影像進行合成,以獲得HDR影像用於我們的實驗。最後,我們將我們提出的演算法應用於HDR影像,並評估了效能。
A.校準
首先,對S和R感測器的靈敏度進行標定。在這個實驗中,我們捕獲了投影在螢幕上的測試圖案,並比較了由兩個感測器獲得的影像,我們分別稱之為“S影像”和“R影像”。圖8示出了由S感測器捕獲的影像。
圖8 S感測器拍攝影像
圖9 S和R感測器拍攝影像的關係
然後我們計算每個補丁的平均亮度,並繪製“S影像”和“R影像”的相應亮度之間的關係,如圖9所示。該圖說明兩個感測器的靈敏度具有由以下線性方程近似的比例關係,
其中\(S(x,y)\)和\(R(x,y)\)分別表示“S影像”和“R影像”中的畫素級。因此,我們合成具有如下混合比率的影像,
其中,\(th0\)和\(th1\)表示用於構成“S影像”和“R影像”的閾值。“S影像”和“R影像”的混合比如圖10所示。
圖10 S和R感測器拍攝影像混合比例
在下面的實驗中,我們設定\(th0=0.8\)和\(th1=0.9\)來合成HDR影像。
此外,我們設定HDR影像\(f(x,y)\)的上限。一般來說,沒有多量程感測器的普通數碼攝像機無法拍攝像Finepix F710這樣的HDR影像。因此,我們將所計算的HDR影像亮度\(f(x,y)\)裁剪為輸出LDR影像亮度\(g(x,y)\)的\(4.6\)倍高,這導致\(m=2.0^\gamma\)。
B.實驗結果對比
我們對許多測試影像進行了實驗。在這個實驗中,我們設定瞭如圖6所示的相同引數。圖11、圖12和圖13中示出了一些結果。每個圖中的頂部、中部和底部行分別說明了全輸入範圍、近似拐點曲線和所提出演算法的線性壓縮處理結果。
圖11-13 實驗結果
而另一方面,在我們提出的演算法的結果(底部行)中,高亮對比度高度保持,同時清晰地再現陰影到中間範圍亮度。這些都與直接觀察有密切的關係。
V.結論和將來的工作
本文提出了一種新的數字攝像機動態範圍壓縮方法。該演算法與傳統的空間變化方法一樣,基於視覺對比度依賴於區域性影像對比度的假設。該方法還具有滿足數字攝像機不將陰影變為中間範圍外觀的要求的特點。
首先,我們提出了一種新的運算元LCRT,它根據基本色調對映曲線自動自適應地增強區域性影像對比度,並在任何亮度水平下保持與原始影像相同的區域性對比度。其次,我們定義了一個近似的拐點曲線,保證在任何亮度水平的輸出電平和一階微分系數的連續性,保持功能接近傳統的拐點曲線。然後,我們所提出的演算法的動態範圍壓縮制定應用LCRT的近似拐點曲線。
實驗結果證明了該演算法的效能。這些結果表明,該演算法保留了亮區的區域性對比度,如天空區域或透過視窗看到的外部場景,而不會降低陰影到中間範圍亮度,包括主要物件,如面部區域。
該演算法有許多引數,但大多數引數是根據給定的基本色調對映曲線自動確定的。因此,我們只需要實驗確定幾個引數。
將該方法應用於數字攝像機的動態範圍壓縮,可以輕鬆再現任何亮度水平下的高對比度的真實影像。然而,目前所提出的演算法需要很高的計算成本與大量的記憶體。演算法的更有效的實現留給我們未來的工作。
附錄
在本附錄中,我們從\((3)\)匯出\((6)\)和\((7)\)。如上所述,F(x,y)、F(x,y)、G(x,y)和G(x,y)分別表示f(x,y)、f(x,y)、g(x,y)和g(x,y)的對數值。這些關係描述如下。
此外,\(P\big(F(x,y)\big)\) 表示\(p\big(f(x,y)\big)\)的雙對數方程。其描述如下。
透過將\((A1)\)和\((A2)\)代入相應的項,等式\((3)\)可以重寫如下。
等式\((A3)\)導致以下等式。
這裡,雙對數域中的基本色調對映曲線的導數可以如下變換到亮度域。
因此,透過用\((A5)\)代替\((A4)\)來匯出等式\((6)\)。