計算機視覺實戰的深度學習實戰二：影像預處理

影像預處理

 

更多精彩內容請關注微信公眾號：聽潮庭。

寫在前面：

1. 影像顯示與儲存原理
2. 影像增強的目標
3. 點運算：基於直方圖的對比度增強
4. 形態學處理
5. 空間與處理：卷積
6. 卷積的應用（平滑、邊緣檢測、銳化等）
7. 頻率域處理：傅立葉變換，小波變換
8. 應用案例：平滑、邊緣檢測、CLAHE等

一、顏色空間

1、RGB顏色空間

 

 

• 加法混色（越疊加越白：255，255，255=白色），彩色顯示
• 3個通道 (後面提到一張圖片有三個維度，長，寬和通道（r，g，b）)
  • Red通道
  • Green通道
  • Blue通道
• 一個畫素顏色值
  • （b,g,r）
• 取值範圍
  • [0, 255]
  • [0.0, 1.0]

2、CMYK顏色空間

 

• 減法混色，多用於印刷
• 4通道
  • Cyan通道
  • Magenta通道
  • Yellow通道
  • Key通道
• 一個畫素顏色值
  • （c,y,m,k）
• 取值範圍
  • [0, 255]
  • [0.0, 1.0]

3、HSV顏色空間

 

• 人類視覺概念，畫家配色
• 3各要素
  • H/Hue：色調，顏色種類
  • S/Saturation：飽和度，顏色的純度
  • V/Value：明度，顏色明亮度
• 一個畫素顏色值
  • （h，s，v）
• 取值範圍
  • [0, 255]
  • [0.0, 1.0]

4、CIE-XYZ顏色空間

 

• 國際照明協會，1931
• 基於人類顏色視覺的直接測定
• 其他顏色空間基礎
• 人類視覺系統-視錐細胞
  • 短波（S，420-440nm）
  • 中波（M，530-540nm）
  • 長波（L，560-580nm）
• 3色刺激值通道
  • X，Y，Z約略對應於紅色，綠色，藍色
  • 一種波的刺激等於幾種波的混合刺激

---

二、圖片儲存原理

 

1、主流顏色空間

• RGB三通道彩色圖

  • 圖片->3維矩陣（[0,255]）

  
  

• 單通道灰度圖

  • 亮度資訊[0,255]
  • Gray=R×0.3+G×0.59+B×0.11（常用的圖片灰度化轉換公式）

三、影像增強的目標

 

1. 改善影像的視覺效果
2. 轉換為更適合人或機器分析處理的形式
3. 突出對人或機器分析有意義的資訊
4. 抑制無用資訊，提高影像的使用價值
5. 具體包括影像銳化，平滑，去噪，灰度調整（對比度增強）

四、影像處理的方法

 

1、特徵提取方法

 

1. 直方圖Histogram

   • 對圖片資料/特徵分佈的一種統計
     • 灰度、顏色
     • 梯度/邊緣、形狀、紋理
     • 區域性特徵點、視覺詞彙
   • 區間bin
     • 具有一定的統計或物理意義
     • 一種資料或特徵的代表
     • 需要預定義或基於資料進行學習
     • 數值是一種統計量：概率、頻數、
   • 對資料空間bin進行量化

2. 直方圖均衡化

   • 直方圖均衡化是指：利用影像直方圖對對比度進行調整德方法
   • 直方圖均衡化通常用來增加許多影像的區域性對比度，尤其是當影像的有用資料的對比圖相當接近的時候
   • 直方圖均衡化以後，亮度可以更好的在直方圖上分佈。這樣就可以用於增強區域性的對比度而不影響整體的對比度，直方圖均衡化通過有效的擴充套件常用的亮度來實現這種功能
   • 直方圖均衡化：實質上是對影像進行非線性拉伸
   • 重新分配各個灰度單位中的畫素點數量，是一定的灰度範圍畫素點數量的值大致相等
   • 

3. 自適應直方圖均衡

   • 直方圖均衡的經典演算法對整幅影像的畫素使用相同的變換，如果影像中包括明顯亮的或者暗的區域，則經典演算法有限
   • 自適應直方圖均衡（AHE）演算法通過對區域性區域進行直方圖均衡，來解決上述問題；
     • 移動模板在原始圖片上按特定步長滑動
     • 每次移動後，模板區域內做直方圖均衡，對映後的結果賦值給模板區域內所有點
     • 每個點會有多次賦值，最終的取值為這些賦值的均值。

4. CLAHE

   • AHE會過度放大影像中相對均勻區域的噪聲，可採用限制對比度自適應直方圖均衡（CLAHE）。
   • 與普通自適應直方圖均衡相比，CLAHE的不同地方在於直方圖修剪過程，用修剪後的直方圖均衡影像時，影像對比度會更自然
   • 等面積挪到下面墊高
   • 如下圖
   • 
   • 小黑點的灰度直接由對映函式計算得到
   • 粉色區域內點的灰度由對映函式計算得到
   • 綠色區域內點的灰度由相鄰兩塊灰度對映值線性插值得到
   • 其他區域所有點的灰度由相鄰四塊的灰度對映值雙線性插值而得、
   • CLAHE演算法步驟
     • 1、影像分塊，以塊為單位
     • 2、先計算直方圖，然後修建直方圖，最後均衡
     • 3、遍歷操作各個影像塊，進行塊間雙線性插值
     • 4、與原圖做圖層綠色混合操作。（可選）

5. 形態學運算

   • 開運算：先腐蝕在膨脹，可以去掉目標外的孤立點
   • 閉運算：先膨脹再腐蝕，可以去掉目標內的孔
   • 通常，當有噪聲的影像用閾值二值化後，所得到的邊界是很不平滑的，物體區域具有一些錯判的孔洞，背景區域散佈著一些小的噪聲物體，連續的開和閉運算可以顯著的改善這種情況

6. 空間域處理及其變換

   • 濾波/卷積
     • 在每個圖片位置（x，y）上進行基於鄰域的函式計算
       1. 濾波函式->權重相加
          • 卷積核、卷積模板
          • 濾波器、濾波模板
          • 掃描窗
     • 不同功能需要定義不同的函式
       1. 平滑/去噪
       2. 梯度/銳化
       3. 邊緣、顯著點、紋理
       4. 模式檢測
   • 
   • 引數解釋
     • x,y是畫素在圖片中的位置/座標
     • k,l是卷積核中的位置/座標，中心點的座標是（0，0）
     • f(k,l)是卷積核中在（k,l）上的權重引數
     • I(x+k,y+l)是與f(k,l)相對應的圖片畫素值
     • h(x,y)是圖片中(x,y)畫素的濾波/卷積結果
     • 
       
   • 邊界填充（Padding） 將卷積核的中心對上頂點
     • 獲得同尺寸輸出的情況下
     • 卷積核越大，補充越多
   • 補充型別
     • 補零（zero-padding） 目前用的最多
     • 邊界複製（replication）
     • 映象（reflection）
     • 塊複製（wraparound）

7. 均值濾波

   • 平滑均值濾波/卷積

     • 3*3

     • 掃描步長：1

     • 邊框補零

     • 

     • 均值濾波本身存在缺陷，既沒有很好的去除噪聲點，也破壞了影像的細節反而使影像變得模糊

     • 奇數尺寸：3×3、5×5，7×7，2n-1×2n-1

     • 引數和為：1

     • 

     • 

8. 平滑中值濾波/卷積

   • 奇數尺寸：3×3、5×5，7×7，2n-1×2n-1
   • 操作原理：
     • 卷積域內的畫素值從小到大排序
     • 取中間值作為卷積輸出
   • 有效去除椒鹽噪聲
   • 
   • 將領域矩陣中的N個畫素進行排序，並將這個矩陣的中心點賦值為這N個畫素的中值
   • 

9. 平滑高斯濾波/卷積

   • 奇數尺寸：3×3、5×5，7×7，2n-1×2n-1

   • 模擬人眼，關注中心區域

   • 有效去除高斯噪聲

   • 引數

     • x,y是卷積引數座標
     • 標準差σ /`sigma/
     • 
     • 人眼特性：離關注中心越遠，感受精度越模糊
     • 
     • σ 越小 關注區域越集中
     • 
     • 分解特性（級聯高斯）
       • 2D卷積拆分成兩個相同的ID卷積
         • 列卷積
         • 行卷積
       • 降計算
         • 2D卷積：K×K次計算
         • 2×1D卷積：2K次計算
         • 
           -

10. 梯度Prewitt濾波/卷積

    • 水平梯度/垂直邊緣 梯度：某一函式在該點處的方向導數
    • 
    • 垂直梯度/水平邊緣
    • 

11. 梯度Laplacian濾波/卷積

    • 二階微分運算元
      • 一階導數極值
      • 
    • 作用
      • 團塊檢測：周邊高於（低於）中心點
      • 邊緣檢測：畫素值快速變化的區域
      • 
        -
      • Laplacian濾波器條件，相加等於0；
      • Laplacian濾波銳化
      • 

12. 其他濾波/銳化

    • 左移位濾波
      • 
    • 銳化
      •