Fast Bokeh Effects Using Low-Rank Linear Filters
paper地址：https://www.researchgate.net/publication/271401966_Fast_Bokeh_effects_using_low-rank_linear_filtersh
paper發在：The visual computer
好久沒寫過文章啦~……~，小生這就送上一篇剛看的paper，還有很多地方沒吃透，願路過的客觀在評論區留下好文。
本文使用低秩線性濾波能快速的實現散景模糊(Bokeh：散景)。
1.貢獻總結如下：
1.用大量的實驗驗證了LRLF比高斯模糊更接近鏡頭模糊。對於一些需要做鏡頭模糊資料集的同學，可以一觀。
2.散景的形狀受到葉片數量、葉片是直的還是彎的以及孔徑開口的大小的影響（理解成鏡片），實驗也驗證了何種大小和形狀的葉片更逼近真實散景成像。
3.提出將低秩濾波器應用於影像模糊、傾斜偏移後處理和景深模擬，展示了其速度和靈活性，並分析了幾種孔徑形狀的近似誤差。
2.基礎知識介紹
2.1 散景
散景：散景效果是由場景中單點的多束光線通過相機光圈和在影像平面上的不同點引起的。
如Fig.1所示，聚焦的點會在Image Plane上呈現成點，散焦的點會在平面上擴散成混亂圈(Circle of confusion，Coc)。
2.2 現有方法
Monte Carlo techniques：通過隨機取樣從相機鏡頭追蹤到場景的光線，計算了分散式射線示蹤器的景深。
Splatting techniques：濺射技術是一種直接渲染景深的方法。通過為幀緩衝區中的每個畫素在螢幕上渲染一個alpha-blended sprit來進行。sprit的大小是根據Coc的直徑，紋理影像生成散景圖案。
Summed area tables:從影像計算出的求和麵積表(SAT)儲存了從原點到目標畫素位置的矩形中所有畫素值的和。一旦計算出來，任意矩形區域的值的和可以從SAT中的4個值計算出來。
Fourier transform:通過計算影像的FFT，執行乘法，然後計算逆FFT。然而，這種方法是有限的，因為卷積，在嚴格意義上，是一個空間不變的核濾波。
Iterated or hierarchical convolution：通過使用重複卷積或影像金字塔的分層卷積，可以得到與大核卷積的情形。這些技術的結果是有限範圍的散景形狀。
Solution of the diffusion/heat equation：各向同性均勻擴散(或熱)方程的解可以通過高斯卷積得到。
Separable convolution：可分性是一些濾波器核的性質，允許使用一對一維卷積來實現二維濾波。這減少了計算的複雜性，使其在實時應用中計算景深很有吸引力。
2.3 提出方法
提出的方法可以看作是對現有方法的改進和擴充套件，提供了可分離濾波器的替代方法。低秩濾波方法是將任意的濾波核近似為可分離核的和。值得注意的是，提出的低秩線性濾波方法可以作為以前報導的許多技術的一部分，通過替換可分離卷積或隨機取樣步驟，從單個影像計算自由度。
3. Low-rank and separable filters
離散濾波器核的秩是其矩陣表示的秩k。k的秩就是k的線性無關列數。如果k=1,空間不變的線性濾波器可以用離散卷積來實現I=(I0*k)=(I0*u)*v,I0表示輸入影像，u是用列矩陣表示的垂直濾波核，v是用行矩陣表示的水平濾波核，k = uv。
對於任意秩的濾波器可以表示為：
通過奇異值分解可以確定濾波器核k的秩r以及σ、u和v的值
ui是U的第i行，vi表示v的第i行。後面的一些符號解釋我就不放出來了，直接瞧英文，超級簡單的。
想表達的是對輸入影像I0首先經過水平濾波，接著垂直濾波，即2d濾波的分解，流程圖如Fig.2所示。summation表示求和生成I。
3.1 Bokeh shape and matrix properties
與可分離濾鏡相比，低秩濾鏡允許我們建立具有各種形狀和可以模擬透鏡球差的散焦。透鏡系統的球差會導致散焦，散焦的亮度不均勻—邊緣的亮度不均勻。散景的形狀很好地近似於相機光圈的形狀。光圈的形狀和大小由葉片控制，葉片可以是彎曲的，也可以是直的，數量從2到15不等。這導致散景的形狀是多邊形的，或者在有大量彎曲葉片的孔的情況下接近圓形。考慮到這一點，我們研究了這些形狀的過濾器核心。因為可以用一個特殊的濾鏡來安裝一個相機鏡頭，讓攝影師對散景形狀有更多的控制。
Fig.3中展示了四個低秩濾波器，第一列為四個低秩濾波器，分別為5邊(秩為55，即Rank55)，6邊(秩為36,即Rank36)，8邊(秩為38，即Rank38)，以及圓(秩為39，即Rank39)。從每一行來看，Rank1到Rank5，秩越來越大，而對應秩的核也越來越接近真實秩的核。最有邊的圖，也展示了四種濾波器核的相對誤差，並且隨著秩的增大，相對誤差越來越小，並且及時秩為1的時候，相對誤差也很小，在0.2左右。相對誤差的公式如下所示：
||*||F表示範數。
8邊孔徑的濾波結果如Fig.4所示。Original表示源圖，2d convolution表示用2d卷積核對原圖進行濾波得到的，第二行的分別被Rank1,Rank2,Rank3濾波器進行濾波，發現經過Rank3 filter濾波得到的圖與2d Convolution的結果類似。
Fig.5展示了不同形狀濾波器的對比結果。許多快速影像模糊的方法使用框和高斯濾波器，因為核心是可分離的(有秩= 1)，但在相機散焦的背景下，這些核心有一些不受歡迎的特性。盒形濾鏡將導致方形散景圖案，這是不常見的攝影影像。高斯濾鏡將會使散景模式變得圓整柔軟的邊緣，這並不總是可取的。我們的方法允許任意的散景形狀被用作過濾核，在本篇論文的後續部分也分析了集中常見的濾波形狀。相比之下，多邊形孔徑和圓形孔徑的濾波器結果模糊更符合攝影影像。
Fig.6展示了模擬透鏡球差的濾波核示例，Fig.7展示了彎曲孔徑葉片的濾波核示例。Fig.8顯示了不同孔徑葉片數量和不同球面像差的濾波結果。球差和葉片曲率對rank = 3重構誤差的影響如Fig.9所示。如圖3所示:葉片數為偶數的孔徑比葉片數為奇數的孔徑具有更低的重構誤差，其中8面孔徑誤差最小。相對誤差與球面的對比圖表明，負球面像差(中心較亮)可以降低重構誤差。我們注意到，這一趨勢在1至10之間的其他排名中繼續存在。相對誤差與葉片半徑的關係圖顯示了偶數和奇數彎曲葉片孔徑的不同特性。增加葉片半徑(使葉片變直)可以增加奇數葉片孔徑的低秩(r = 3)誤差，但可以降低偶數葉片孔徑的低秩(r = 3)誤差。圓形孔徑(近似為60邊孔徑)位於兩組曲線之間，與葉片半徑無關。如所料，當葉片半徑與圓孔半徑相同時(本例中為1)，所有相對誤差收斂於圓孔的相對誤差。
Fig.11顯示了具有水平對稱軸的孔徑形狀具有繞中點對稱的奇異向量，如果有垂直對稱軸，奇異向量也是對稱的。在儲存過濾係數時，可以利用這一點來節省記憶體。
3.2 Comparison to stochastic sampling
在射線追蹤中，可以利用光線的隨機取樣來產生基於物理的自由度。然而，在基於影像的DoF中，可以使用畫素的隨機取樣來減少濾波時所需的影像樣本數量。這種方法的一個缺點是，它可能導致噪聲，顆粒狀的影像。我們比較兩種使用相同數量的過濾器抽頭的過濾實現。第一個實現是一個隨機取樣技術使用泊松分佈樣本在一個六邊形濾波器核。樣本的位置如圖12(a)所示。過濾的結果如圖12(b)所示。為了便於比較，rank 3濾波的結果如圖12(c)所示。注意，這幅影像沒有影像12(b)中明顯的噪聲。
4. 實驗結果
Tilt-shift postprocessing：能夠相對於影像感測器平移和旋轉的相機鏡頭被稱為“傾斜移位”鏡頭。這些鏡頭讓攝影師在最終的影像中控制透視和焦點。這些鏡頭的一個應用是創造一個淺景深，使被攝物件看起來縮小。這種技術有時被稱為“傾斜移位攝影”，可以通過設計一個簡單的灰度影像來表示Coc直徑來在後處理中模擬。這通常是在繪圖程式中使用漸變工具完成的，比如Photoshop。然後，照片被模糊與空間變化的核心，其大小等於Coc直徑。使用低秩線性濾波器進行傾斜平移後處理的結果如圖14所示。使用低秩(r=3)線性濾波器(左)和相應的Coc直徑影像(右)通過傾移後處理建立的影像。在Coc影像中，暗的強度代表小的Coc直徑，明亮的顏色代表大的Coc直徑。黑帶對應焦平面。
Coc計算公式：
其中a為鏡頭孔徑直徑，f為焦距，zfocus為到焦平面的距離，z為給定畫素的場景深度。
圖16顯示了龍場景的輸入彩色影像，LuxRender使用6邊光圈的結果，以及我們的結果。圖17中的龍場景細節顯示，我們的方法與光線跟蹤影像的散景非常匹配，而由Zhou等人提出的使用可分離高斯核的技術產生了更柔和的模糊。
學校走廊場景的結果如圖18所示。當使用Zhou等人的方法時，在天花板上的燈光上看到的模糊模糊的不正確柔和是所有利用高斯卷積的方法的特徵，如Hammon和Lee等人的方法。
圖19中的別墅場景展示了我們的技術是如何為光線跟蹤場景提供看似合理的散景預覽的。由於光線對影像的焦外區域可能通過孔徑從許多可能的方向，這些部分的影像是典型的不充分取樣和出現噪聲。別墅場景顯示在focus raytrace到500個樣本每畫素(spp)，一些噪聲仍然明顯在影像中。用DoF進行光線跟蹤的影像需要5000 spp，而且看起來也有噪聲，大部分是在背景的未聚焦區域。然而，我們的方法應用於聚焦影像，由於濾波過程的平滑效果，噪聲少得多的散景。光線追蹤聚焦影像和計算景深所需時間是光線追蹤景深場景所需時間的十分之一。這種景深方法允許從單一聚焦影像中有效地預視各種孔徑形狀。
5.總結
本文提出了一種利用低秩線性濾波器繪製散景效果的新技術。與可分離濾光片不同的是，這種技術可以處理各種孔徑形狀。該技術可以模擬引起散焦強度不均勻的透鏡球差。我們還展示了使用者如何選擇濾波器核心的秩，以權衡速度和精度。與其他使用隨機取樣的方法不同，這種方法不受噪聲的影響。我們還介紹了幾個濾波器的分析，演示瞭如何量化濾波器的精度。