影像預處理
更多精彩內容請關注微信公眾號：聽潮庭。
寫在前面：
- 影像顯示與儲存原理
- 影像增強的目標
- 點運算：基於直方圖的對比度增強
- 形態學處理
- 空間與處理：卷積
- 卷積的應用（平滑、邊緣檢測、銳化等）
- 頻率域處理：傅立葉變換，小波變換
- 應用案例：平滑、邊緣檢測、CLAHE等
一、顏色空間
1、RGB顏色空間
- 加法混色（越疊加越白：255，255，255=白色），彩色顯示
- 3個通道 (後面提到一張圖片有三個維度，長，寬和通道（r，g，b）)
- Red通道
- Green通道
- Blue通道
- 一個畫素顏色值
- （b,g,r）
- 取值範圍
- [0, 255]
- [0.0, 1.0]
2、CMYK顏色空間
- 減法混色，多用於印刷
- 4通道
- Cyan通道
- Magenta通道
- Yellow通道
- Key通道
- 一個畫素顏色值
- （c,y,m,k）
- 取值範圍
- [0, 255]
- [0.0, 1.0]
3、HSV顏色空間
- 人類視覺概念，畫家配色
- 3各要素
- H/Hue：色調，顏色種類
- S/Saturation：飽和度，顏色的純度
- V/Value：明度，顏色明亮度
- 一個畫素顏色值
- （h，s，v）
- 取值範圍
- [0, 255]
- [0.0, 1.0]
4、CIE-XYZ顏色空間
- 國際照明協會，1931
- 基於人類顏色視覺的直接測定
- 其他顏色空間基礎
- 人類視覺系統-視錐細胞
- 短波（S，420-440nm）
- 中波（M，530-540nm）
- 長波（L，560-580nm）
- 3色刺激值通道
- X，Y，Z約略對應於紅色，綠色，藍色
- 一種波的刺激等於幾種波的混合刺激
二、圖片儲存原理
1、主流顏色空間
-
RGB三通道彩色圖
- 圖片->3維矩陣（[0,255]）
-
單通道灰度圖
- 亮度資訊[0,255]
- Gray=R×0.3+G×0.59+B×0.11（常用的圖片灰度化轉換公式）
三、影像增強的目標
- 改善影像的視覺效果
- 轉換為更適合人或機器分析處理的形式
- 突出對人或機器分析有意義的資訊
- 抑制無用資訊，提高影像的使用價值
- 具體包括影像銳化，平滑，去噪，灰度調整（對比度增強）
四、影像處理的方法
1、特徵提取方法
-
直方圖Histogram
- 對圖片資料/特徵分佈的一種統計
- 灰度、顏色
- 梯度/邊緣、形狀、紋理
- 區域性特徵點、視覺詞彙
- 區間bin
- 具有一定的統計或物理意義
- 一種資料或特徵的代表
- 需要預定義或基於資料進行學習
- 數值是一種統計量：概率、頻數、
- 對資料空間bin進行量化
- 對圖片資料/特徵分佈的一種統計
-
直方圖均衡化
- 直方圖均衡化是指：利用影像直方圖對對比度進行調整德方法
- 直方圖均衡化通常用來增加許多影像的區域性對比度，尤其是當影像的有用資料的對比圖相當接近的時候
- 直方圖均衡化以後，亮度可以更好的在直方圖上分佈。這樣就可以用於增強區域性的對比度而不影響整體的對比度，直方圖均衡化通過有效的擴充套件常用的亮度來實現這種功能
- 直方圖均衡化：實質上是對影像進行非線性拉伸
- 重新分配各個灰度單位中的畫素點數量，是一定的灰度範圍畫素點數量的值大致相等
-
自適應直方圖均衡
- 直方圖均衡的經典演算法對整幅影像的畫素使用相同的變換，如果影像中包括明顯亮的或者暗的區域，則經典演算法有限
- 自適應直方圖均衡（AHE）演算法通過對區域性區域進行直方圖均衡，來解決上述問題；
- 移動模板在原始圖片上按特定步長滑動
- 每次移動後，模板區域內做直方圖均衡，對映後的結果賦值給模板區域內所有點
- 每個點會有多次賦值，最終的取值為這些賦值的均值。
-
CLAHE
- AHE會過度放大影像中相對均勻區域的噪聲，可採用限制對比度自適應直方圖均衡（CLAHE）。
- 與普通自適應直方圖均衡相比，CLAHE的不同地方在於直方圖修剪過程，用修剪後的直方圖均衡影像時，影像對比度會更自然
等面積挪到下面墊高- 如下圖
- 小黑點的灰度直接由對映函式計算得到
- 粉色區域內點的灰度由對映函式計算得到
- 綠色區域內點的灰度由相鄰兩塊灰度對映值線性插值得到
- 其他區域所有點的灰度由相鄰四塊的灰度對映值雙線性插值而得、
- CLAHE演算法步驟
- 1、影像分塊，以塊為單位
- 2、先計算直方圖，然後修建直方圖，最後均衡
- 3、遍歷操作各個影像塊，進行塊間雙線性插值
- 4、與原圖做圖層綠色混合操作。（可選）
-
形態學運算
- 開運算：先腐蝕在膨脹，可以去掉目標外的孤立點
- 閉運算：先膨脹再腐蝕，可以去掉目標內的孔
- 通常，當有噪聲的影像用閾值二值化後，所得到的邊界是很不平滑的，物體區域具有一些錯判的孔洞，背景區域散佈著一些小的噪聲物體，連續的開和閉運算可以顯著的改善這種情況
-
空間域處理及其變換
- 濾波/卷積
- 在每個圖片位置（x，y）上進行基於鄰域的函式計算
- 濾波函式->權重相加
- 卷積核、卷積模板
- 濾波器、濾波模板
- 掃描窗
- 濾波函式->權重相加
- 不同功能需要定義不同的函式
- 平滑/去噪
- 梯度/銳化
- 邊緣、顯著點、紋理
- 模式檢測
- 在每個圖片位置（x，y）上進行基於鄰域的函式計算
- 引數解釋
- x,y是畫素在圖片中的位置/座標
- k,l是卷積核中的位置/座標，中心點的座標是（0，0）
- f(k,l)是卷積核中在（k,l）上的權重引數
- I(x+k,y+l)是與f(k,l)相對應的圖片畫素值
- h(x,y)是圖片中(x,y)畫素的濾波/卷積結果
- 邊界填充（Padding） 將卷積核的中心對上頂點
- 獲得同尺寸輸出的情況下
- 卷積核越大，補充越多
- 補充型別
- 補零（zero-padding） 目前用的最多
- 邊界複製（replication）
- 映象（reflection）
- 塊複製（wraparound）
- 濾波/卷積
-
均值濾波
-
平滑均值濾波/卷積
-
3*3
-
掃描步長：1
-
邊框補零
-
-
均值濾波本身存在缺陷，既沒有很好的去除噪聲點，也破壞了影像的細節反而使影像變得模糊
-
奇數尺寸：3×3、5×5，7×7，2n-1×2n-1
-
引數和為：1
-
-
-
-
-
平滑中值濾波/卷積
- 奇數尺寸：3×3、5×5，7×7，2n-1×2n-1
- 操作原理：
- 卷積域內的畫素值從小到大排序
- 取中間值作為卷積輸出
- 有效去除椒鹽噪聲
- 將領域矩陣中的N個畫素進行排序，並將這個矩陣的中心點賦值為這N個畫素的中值
-
平滑高斯濾波/卷積
-
奇數尺寸：3×3、5×5，7×7，2n-1×2n-1
-
模擬人眼，關注中心區域
-
有效去除高斯噪聲
-
引數
- x,y是卷積引數座標
- 標準差σ /`sigma/
- 人眼特性：離關注中心越遠，感受精度越模糊
- σ 越小 關注區域越集中
- 分解特性（級聯高斯）
- 2D卷積拆分成兩個相同的ID卷積
- 列卷積
- 行卷積
- 降計算
- 2D卷積：K×K次計算
- 2×1D卷積：2K次計算
-
- 2D卷積拆分成兩個相同的ID卷積
-
-
梯度Prewitt濾波/卷積
- 水平梯度/垂直邊緣 梯度：某一函式在該點處的方向導數
- 垂直梯度/水平邊緣
-
梯度Laplacian濾波/卷積
- 二階微分運算元
- 一階導數極值
- 作用
- 團塊檢測：周邊高於（低於）中心點
- 邊緣檢測：畫素值快速變化的區域
-
- Laplacian濾波器條件，相加等於0；
- Laplacian濾波銳化
- 二階微分運算元
-
其他濾波/銳化
- 左移位濾波
- 銳化
- 左移位濾波
