Python 影像處理 OpenCV （7）：影像平滑（濾波）處理

import cv2 as cv
import numpy as np

# 讀取圖片
img = cv.imread("maliao.jpg", cv.IMREAD_UNCHANGED)
rows, cols, chn = img.shape

# 加噪聲
for i in range(5000):
    x = np.random.randint(0, rows)
    y = np.random.randint(0, cols)
    img[x, y, :] = 255

cv.imshow("noise", img)

# 影像儲存
cv.imwrite("maliao_noise.jpg", img)

# 等待顯示
cv.waitKey()
cv.destroyAllWindows()

上面這段程式實際上是在圖片上隨機加了 5000 個白點，這個噪聲真的是夠大的了。

2. 2D 影像卷積

在介紹濾波之前先簡單介紹下 2D 影像卷積，影像卷積其實就是影像過濾。

影像過濾的時候可以使用各種低通濾波器（ LPF ），高通濾波器（ HPF ）等對影像進行過濾。

低通濾波器（ LPF ）有助於消除噪聲，但是會使影像模糊。

高通濾波器（ HPF ）有助於在影像中找到邊緣。

OpenCV 為我們提供了一個函式 filter2D() 來將核心與影像進行卷積。

我們嘗試對影像進行平均濾波， 5 x 5 平均濾波器核心如下：

$$
K = \frac{1}{25}
\begin{bmatrix}
1 & 1 & 1 & 1 & 1 \
1 & 1 & 1 & 1 & 1 \
1 & 1 & 1 & 1 & 1 \
1 & 1 & 1 & 1 & 1 \
1 & 1 & 1 & 1 & 1
\end{bmatrix}
$$

具體操作如下：

我們保持這個核心在一個畫素上，將所有低於這個核心的 25 個畫素相加，取其平均值，然後用新的平均值替換中心畫素。它將對影像中的所有畫素繼續此操作，完整的示例程式碼如下：

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

# 讀取圖片
img = cv.imread("maliao_noise.jpg", cv.IMREAD_UNCHANGED)
rgb_img = cv.cvtColor(img, cv.COLOR_BGR2RGB)

kernel = np.ones((5,5),np.float32)/25

dst = cv.filter2D(rgb_img, -1, kernel)

titles = ['Source Image', 'filter2D Image']
images = [rgb_img, dst]

for i in range(2):
    plt.subplot(1, 2, i + 1), plt.imshow(images[i], 'gray')
    plt.title(titles[i])
    plt.xticks([]), plt.yticks([])

plt.show()

可以看到，噪點確實去除掉了，就是圖片變得模糊起來。

3. 均值濾波

均值濾波是指任意一點的畫素值，都是周圍 N * M 個畫素值的均值。

其實均值濾波和上面的那個影像卷積的示例，做了同樣的事情，我只是用 filter2D() 這個方法手動完成了均值濾波，實際上 OpenCV 為我們提供了專門的均值濾波的方法，前面影像卷積沒有看明白的同學，可以再一遍均值濾波，我儘量把這個事情整的明白的。

還是來畫個圖吧：

中間那個紅色的方框裡面的值，是周圍 25 個格子區域中的畫素的和去除以 25 ，這個公式是下面這樣的：

$$
K = \frac{1}{25}
\begin{bmatrix}
1 & 1 & 1 & 1 & 1 \
1 & 1 & 1 & 1 & 1 \
1 & 1 & 1 & 1 & 1 \
1 & 1 & 1 & 1 & 1 \
1 & 1 & 1 & 1 & 1
\end{bmatrix}
$$

我為了偷懶，所有的格子裡面的畫素值都寫成 1 ，畢竟 n / n 永遠都等於 1 ，快誇我機智。

上面這個 5 * 5 的矩陣稱為核，針對原始影像內的畫素點，採用核進行處理，得到結果影像。

這個核我們可以自定義大小，比如 5 * 5 ，3 * 3 ， 10 * 10 等等，具體定義多大完全看療效。

OpenCV 為我提供了 blur() 方法用作實現均值濾波，原函式如下：

def blur(src, ksize, dst=None, anchor=None, borderType=None)

kSize: 核心引數，其實就是圖片進行卷積的時候相乘的那個矩陣，具體的卷積是如何算的，網上有很多，我這裡就不介紹了，所得到的影像是模糊的，而且影像其實是按照原來的比例缺少了（原影像-核心引數+1)^2 個單元格。
anchor: Point 型別，即錨點，有預設值 Point(-1, -1) ，當座標為負值，就表示取核的中心。
borderType: Int 型別，用於推斷影像外部畫素的某種邊界模式，有預設值 BORDER_DEFAULT 。

接下來是均值濾波的示例程式碼：

import cv2 as cv
import matplotlib.pyplot as plt

# 讀取圖片
img = cv.imread("maliao_noise.jpg", cv.IMREAD_UNCHANGED)
rgb_img = cv.cvtColor(img, cv.COLOR_BGR2RGB)

# 均值濾波
blur_img = cv.blur(rgb_img, (3, 3))
# blur_img = cv.blur(img, (5, 5))
# blur_img = cv.blur(img, (10, 10))
# blur_img = cv.blur(img, (20, 20))

titles = ['Source Image', 'Blur Image']
images = [rgb_img, blur_img]

for i in range(2):
    plt.subplot(1, 2, i + 1), plt.imshow(images[i], 'gray')
    plt.title(titles[i])
    plt.xticks([]), plt.yticks([])

plt.show()

這個降噪的效果好像沒有前面 2D 卷積的那個降噪效果好，但是影像更為清晰，因為我在這個示例中使用了更小的核 3 * 3 的核，順便我也試了下大核，比如程式碼中註釋掉的 10 * 10 的核或者 20 * 20 的核，實時證明，核越大降噪效果越好，但是相反的是影像會越模糊。

4. 方框濾波

方框濾波和均值濾波核基本一致，其中的區別是需不需要進行歸一化處理。

什麼是歸一化處理等下再說，我們先看方框濾波的原函式：

def boxFilter(src, ddepth, ksize, dst=None, anchor=None, normalize=None, borderType=None)

src: 原始影像。
ddepth: Int 型別，目標影像深度，通常用 -1 表示與原始影像一致。
kSize: 核心引數。
dst: 輸出與 src 大小和型別相同的影像。
anchor: Point 型別，即錨點，有預設值 Point(-1, -1) 。
normalize: Int 型別，表示是否對目標影像進行歸一化處理。

當 normalize 為 true 時，需要執行均值化處理。

當 normalize 為 false 時，不進行均值化處理，實際上是求周圍各畫素的和，很容易發生溢位，溢位時均為白色，對應畫素值為 255 。

完整示例程式碼如下：

import cv2 as cv
import matplotlib.pyplot as plt

# 讀取圖片
img = cv.imread('maliao_noise.jpg')
source = cv.cvtColor(img, cv.COLOR_BGR2RGB)

# 方框濾波
result = cv.boxFilter(source, -1, (5, 5), normalize = 1)

# 顯示圖形
titles = ['Source Image', 'BoxFilter Image']
images = [source, result]

for i in range(2):
    plt.subplot(1, 2, i + 1), plt.imshow(images[i], 'gray')
    plt.title(titles[i])
    plt.xticks([]), plt.yticks([])

plt.show()

當我們把 normalize 的屬性設為 0 時，不進行歸一化處理，結果就變成了下面這個樣子：

5. 高斯濾波

為了克服簡單區域性平均法的弊端(影像模糊)，目前已提出許多保持邊緣、細節的區域性平滑演算法。它們的出發點都集中在如何選擇鄰域的大小、形狀和方向、引數加平均及鄰域各店的權重係數等。

在高斯濾波的方法中，實際上是把卷積核換成了高斯核，那麼什麼是高斯核呢？

簡單來講就是方框還是那個方框，原來每個方框裡面的權是相等的，大家最後取平均，現在變成了高斯分佈的，方框中心的那個權值最大，其餘方框根據距離中心元素的距離遞減，構成一個高斯小山包，這樣取到的值就變成了加權平均。

下圖是所示的是 3 * 3 和 5 * 5 領域的高斯核。

高斯濾波是在 OpenCV 中是由 GaussianBlur() 方法進行實現的，它的原函式如下：

def GaussianBlur(src, ksize, sigmaX, dst=None, sigmaY=None, borderType=None)

sigmaX: 表示 X 方向方差。

這裡需要注意的是 ksize 核大小，在高斯核當中，核（N, N）必須是奇數， X 方向方差主要控制權重。

完整的示例程式碼如下：

import cv2 as cv
import matplotlib.pyplot as plt

# 讀取圖片
img = cv.imread('maliao_noise.jpg')
source = cv.cvtColor(img, cv.COLOR_BGR2RGB)

# 方框濾波
result = cv.GaussianBlur(source, (3, 3), 0)

# 顯示圖形
titles = ['Source Image', 'GaussianBlur Image']
images = [source, result]

for i in range(2):
    plt.subplot(1, 2, i + 1), plt.imshow(images[i], 'gray')
    plt.title(titles[i])
    plt.xticks([]), plt.yticks([])

plt.show()

6. 中值濾波

在使用鄰域平均法去噪的同時也使得邊界變得模糊。

而中值濾波是非線性的影像處理方法，在去噪的同時可以兼顧到邊界資訊的保留。

中值濾波具體的做法是選一個含有奇數點的視窗 W ，將這個視窗在影像上掃描，把視窗中所含的畫素點按灰度級的升或降序排列，取位於中間的灰度值來代替該點的灰度值。

下圖是一個一維的視窗的濾波過程：

在 OpenCV 中，主要是通過呼叫 medianBlur() 來實現中值濾波，它的原函式如下：

def medianBlur(src, ksize, dst=None)

中值濾波的核心數和高斯濾波的核心數一樣，必須要是大於 1 的奇數。

示例程式碼如下：

import cv2 as cv
import matplotlib.pyplot as plt

# 讀取圖片
img = cv.imread('maliao_noise.jpg')
source = cv.cvtColor(img, cv.COLOR_BGR2RGB)

# 方框濾波
result = cv.medianBlur(source, 3)

# 顯示圖形
titles = ['Source Image', 'medianBlur Image']
images = [source, result]

for i in range(2):
    plt.subplot(1, 2, i + 1), plt.imshow(images[i], 'gray')
    plt.title(titles[i])
    plt.xticks([]), plt.yticks([])

plt.show()