halcon——缺陷檢測常用方法總結（頻域空間域結合）

唯有自己強大發表於2021-06-09

摘要

缺陷檢測是視覺需求中難度最大一類需求，主要是其穩定性和精度的保證。首先常見缺陷：凹凸、汙點瑕疵、劃痕、裂縫、探傷等。 缺陷檢測演算法不同於尺寸、二維碼、OCR等演算法。後者應用場景比較單一，基本都是套用一些成熟的運算元，所以門檻較低，比較容易做成標準化的工具。而缺陷檢測極具行業特點，不同行業的缺陷演算法迥然不同。隨著缺陷檢測要求的提高，機器學習和深度學習也成了缺陷領域一個不可或缺的技術難點。

總的來說，機器視覺中缺陷檢測分為一下幾種：

  • blob+特徵（官方示例surface_scratch.hdev）
  • blob+差分+特徵（官方示例pcb_inspection.hdev）
  • 光度立體
  • 特徵訓練
  • 測量擬合
  • 頻域+空間域結合
  • 深度學習

 頻域+空間域結合法

 頻域結合空間，其實頻域就是用波動觀點看世界，看問題角度變了，光經過鏡頭其實發生的是傅立葉變換，此思想在傅立葉光學上有所闡述，就像光經稜鏡分光，而光進入計算機內部，進行了取樣和量化，然後我們用函式f(x,y)來表示這些資料描述。影像處理應用傅立葉變換就是將空間域（影像本身）轉換至頻率域。傅立葉變換可以將一個訊號函式，分解一個一個三角函式的線性組合。由於任何周期函式都可以由多個正弦函式構成，那麼按照這個思想，影像由f(x,y)來表示，那麼這時你就可以拆成多個正弦函式構成，這樣每個正弦函式都有一個自己的頻率。

關於傅立葉的講解，可以詳看：傅立葉分析之掐死教程（完整版）更新於2014.06.06 - 知乎 (zhihu.com)

頻率特徵是影像的灰度變化特徵，低頻特徵是灰度變化不明顯，例如影像整體輪廓，高頻特徵是影像灰度變化劇烈，如影像邊緣和噪聲。一個重要的經驗結論：低頻代表影像整體輪廓，高頻代表了影像噪聲，中頻代表影像邊緣、紋理等細節。

?那麼什麼時候使用傅立葉變換進行頻域分析？

1）具有一定紋理特徵的影像，紋理可以理解為條紋，如布匹、木板、紙張等材質容易出現。 
2）需要提取對比度低或者訊雜比低的特徵。 
3）影像尺寸較大或者需要與大尺寸濾波器進行計算，此時轉換至頻域計算，具有速度優勢。因為空間域濾波為卷積過程（加權求和），頻域計算直接相乘。
?一般對於頻域處理的方法有三種：

  • 直接手畫ROI區域，然後paint_regio（噴黑）
  • 用濾波器（高通，低通，帶通），然後進行濾波處理
  • 呼叫power_real,對其進行blob分析。

?halcon相關案例分析：

 1，髒汙檢測（低通濾波，差分，線提取）

如下圖，在塑料薄膜上有一些線條型的髒汙，在空間域中向提取髒汙的區域是比較困難的(方格會影響空間域的二值化），所以我們就想到了在頻域中去處理它。

思路：

  • 用calculate_lines_gauss_parameters函式計算Sigma和高低閾值（為後續lines_gauss提取髒汙線痕做準備）
  • 讀入圖片，將B空間轉到頻域
  • 用高斯濾波器（低通濾波)進行濾波（即得到背景影像）
  • 差分（原圖——背景圖），銳化影像
  • 用lines_gauss提取髒汙線痕

* 根據要提取的線的最大寬度和對比度，計算Sigma和高低閾值
calculate_lines_gauss_parameters (43.5, [25,5], Sigma, Low, High)
read_image (Image, 'D:/1.png')
       * 這種髒汙的提取可以考慮在頻域中處理
       * 讓前景和背景分離，然後再提取髒汙的區域     
       * 彩色圖轉灰度 這裡拆通道更好，因為方格會影響髒汙的提取
       decompose3 (Image, R, G, B)
       get_image_size(B, Width, Height)
       * 空間域轉頻域
       fft_generic (B, ImageFFT, 'to_freq', -1, 'none', 'dc_center', 'complex')
       * 建立一個高斯濾波器/sigma越小濾波器越小，通過的訊號更加的集中在低頻，這樣做的目的是得到背景
       gen_gauss_filter (ImageGauss, 100, 100, 0, 'n', 'dc_center', Width, Height)
       * 頻域的乘法相當於空間域的卷積
       convol_fft (ImageFFT, ImageGauss, ImageConvol)
       * 頻域轉空間域
       fft_generic (ImageConvol, ImageFFT1, 'from_freq', 1, 'none', 'dc_center', 'byte')
       * 差分（原圖 — 背景）
       sub_image (B, ImageFFT1, ImageSub, 2, 100)
       * 提取髒汙的中心線      
       lines_gauss (ImageSub, Lines, Sigma, Low, High, 'dark', 'true', 'gaussian', 'true')
       dev_display (B)
       dev_display (Lines)

 ? 相關API引數：

  •  calculate_lines_gauss_parameters（根據線的最大寬度以及對比度計算出lines_gauss運算元輸入的Sigma、Low、High值)
calculate_lines_gauss_parameters( : : MaxLineWidth, Contrast : Sigma, Low, High)

  MaxLineWidth (input_control) // lines_gauss要提取線條的最大寬度
  Contrast (input_control)     //lines_gauss要提取線的對比度。
  Sigma (output_control)       //獲取用於lines_gauss輸入的Sigma值
  Low (output_control)         //獲取用於lines_gauss輸入的Low 值
  High (output_control)        //獲取用於lines_gauss輸入的High 值

關於Contrast 引數詳解：

Contrast 值不僅可以一個，也可以為兩個：

當只選擇一個值時，最小對比度將會預設為最大對比度的1/3，最小對比度越小，線條將會延伸到對比度較低的區域，即線條越長。反之，值越高，線條越短，但越突出。

當值為兩個時，陣列中的第二個值是要提取線的最小對比度，並且其值不能大於第一個值。比如：[20,10]

  • lines_gauss（提取影像上的線條，提取的結果屬於亞畫素精度的XLD輪廓）

lines_gauss(Image , Lines ,Sigma, Low, High, LightDark, ExtractWidth, LineModel, CompleteJunctions  )
Image (input_object)     //輸入影像
Lines (output_object)    //檢測線條（XLD）
Sigma (input_control)    //高斯濾波值
Low (input_control)      //滯後閾值分割的低閾值
High (input_control)     //滯後閾值分割的高閾值
LightDark (input_control)//提取線條的型別，暗色還是亮色，(’dark’, ‘light’)
ExtractWidth (input_control)      //是否提取線寬（‘false’,‘true’）
LineModel (input_control)         //用來調整線條位置和寬度的線模型（‘bar-shaped’, ‘gaussian’, ‘none’, ‘parabolic’）
CompleteJunctions (input_control) //在斷連的部分是否新增節點使線條連續（‘false’, ‘true’）

2，檢測表面微小凸起（高斯差分，灰度差，二值化）

如圖，對於處理這種細微的缺陷，也可使用頻域處理。

思路：

  • 使用兩個低通濾波器，進行相減後構造了一個帶阻濾波器來提取缺陷分量
  • 讀入影像，灰度化，轉頻域，進行濾波，轉回空間域
  • 在空間域上blob分析
  • 顯示

關鍵點：該例程的關鍵就是使用兩個低通濾波器，進行相減後構造了一個帶阻濾波器來提取缺陷分量。通過帶阻濾波後獲得的頻率成分對背景中的紋理要有明顯的抑制，並且突出缺陷成分，在頻域處理完成轉會空間域之後，又用了一個能擴大亮點區域的函式：gray_range_rect 輔助後面的二值化，最終完成了缺陷的檢測，這個函式可以說是點睛之筆。

dev_close_window ()
*1採集影像
read_image (Image, 'D:/1.png')
get_image_size (Image, Width, Height)
dev_open_window (0, 0, Width, Height, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
dev_set_draw ('margin')
dev_set_line_width (3)
dev_set_color ('red')
* 根據具體寬高，優化該影像的傅立葉變換速度（有此函式）
optimize_rft_speed (Width, Height, 'standard')
Sigma1 := 10.0
Sigma2 := 3.0
*形成高斯濾波器
gen_gauss_filter (GaussFilter1, Sigma1, Sigma1, 0.0, 'none', 'dc_center', Width, Height)
gen_gauss_filter (GaussFilter2, Sigma2, Sigma2, 0.0, 'none', 'dc_center', Width, Height)
*第一個濾波器減去第二個濾波器（形成帶通濾波器）
sub_image (GaussFilter1, GaussFilter2, Filter, 1, 0)
*2進行頻域濾波
    rgb1_to_gray (Image, Image)
    * 轉到頻域
    fft_generic (Image, ImageFFT, 'to_freq', -1, 'none', 'dc_center', 'complex')
    *濾波
    convol_fft (ImageFFT, Filter, ImageConvol)
    *返回空間域（實部）
   fft_generic (ImageConvol, ImageFiltered, 'from_freq',1, 'n', 'dc_center', 'real')
   *3空間域上的blob影像分割
    *原圖矩形內的灰度值範圍（max-min）作為輸出影像畫素值，擴大了亮的部分
    gray_range_rect (ImageFiltered, ImageResult, 10, 10)
    * 獲得影像最大灰度值和最小灰度值
    min_max_gray (ImageResult, ImageResult, 0, Min, Max, Range)
    *二值化提取( 5.55是經驗值，在除錯中得到)
    threshold (ImageResult, RegionDynThresh, max([5.55,Max * 0.8]), 255)
    select_shape (RegionDynThresh, SelectedRegions, 'area', 'and', 1, 99999)
    connection (SelectedRegions, ConnectedRegions)
    dev_display (Image)
    count_obj (ConnectedRegions, Number)
       for Index1 := 1 to Number by 1
              select_obj (ConnectedRegions, ObjectSelected, Index1)
              area_center (ObjectSelected, Area, Row, Column)
              gen_circle_contour_xld (ContCircle, Row, Column, 20, 0, 6.28318, 'positive', 1)   
              dev_display (ContCircle)
       endfor

 ? 相關API引數：

  • gray_range_rect（用一個矩形掩膜計算影像中最大最小灰度的差，並體現到每個影像點）
gray_range_rect( Image , ImageResult , MaskHeight, MaskWidth: )

引數列表：
Image（in）        //被計算灰度值的影像
ImageResult（out） //包含灰度值的影像
MaskHeight（in）   //濾波器掩模的高度
MaskWidth（in）    //濾波器掩模的寬度

 效果如圖：在濾波後對影像進行 gray_range_rect (ImageFiltered, ImageResult, 10, 10)處理後（增強對比度，即亮部分）：

  • min_max_gray(得到區域的最小值最大值及灰度值範圍)
min_max_gray( Regions, Image ,Percent , Min, Max, Range)

引數列表：
Regions（in）  //輸入區域
Image（in）    //灰度影像
Percent（in）  //小於（大於）絕對最大（最小）值的分數
Min（out)      //最小灰度值
Max（out）     //最大灰度值
Range（out）   //最小值與最大值的差
  •  gen_circle_contour_xld（建立圓或圓弧的XLD輪廓） 
gen_circle_contour_xld(ContCircle ,Row, Column, Radius, StartPhi, EndPhi, PointOrder, Resolution)

引數列表：
ContCircle（out）  //輸出輪廓
Row, Column（in）  //圓弧或圓的中心座標
Radius（in）       //圓弧或圓的半徑
StartPhi（in）     //圓或圓弧的起始角度
EndPhi（in）       //圓或圓弧的終止角度
PointOrder（in）   //輸入沿邊界的點序（ 'negative'負序, 'positive'正序）
Resolution（in）   //相鄰輪廓點之間的距離（Resolution >= 0.00001）
  •  gen_gauss_filter（形成高斯濾波器（低通））
gen_gauss_filter(  GaussFilter,Sigma1, Sigma2, Phi, Norm, Mode, Width, Height )

引數列表：
GaussFilter（in/out）//生成的高斯濾波器的控制程式碼
Sigma1（in）         //空域中高斯在主方向上的標準差
Sigma2（in）         //空域中高斯在垂直於主方向的方向上的標準差
Phi（in）            //濾波器主方向的角度（0.0）
Norm（in）           //濾波器的規範（’none’）
Mode（in）           // 直流項在頻域的位置（’rft’）
Width, Height （in） // 圖片的寬高

 ? 該例程通過兩個高斯濾波器相減，構建一個帶通濾波器，其函式GenGaussFilter為：，常用於紋理缺陷檢測

構建函式：GenGaussFilter（ImageFilter, Sigma1, Sigma2, Width, Height）

 gen_gauss_filter (GaussFilter1, Sigma1, Sigma1, 0.0, 'none', 'rft', Width, Height)
 gen_gauss_filter (GaussFilter2, Sigma2, Sigma2, 0.0, 'none', 'rft', Width, Height)
 sub_image (GaussFilter1, GaussFilter2, ImageFilter, 1, 0)
 return ()

 GenGaussFilter (ImageFilter, 2, 10, Width, Height)則是一個帶通濾波器（或者說“帶阻濾波器”）——先通過高反差保留讓中高頻通過，然後通過高斯模糊抑制高頻，最終的結果是讓中頻通過。

3，檢測磨砂表面的缺陷（高斯濾波差分，分水嶺，灰度共生矩陣）

 由於磨砂表面粗糙（噪點很多，影響二值化） 因此該例程使用了頻域高斯濾波差分後，在空間域的blob分析用了分水嶺域分割濾波後的影像，計算每個區域灰度共生矩陣，通過能量篩選缺陷。

dev_close_window ()
dev_update_off ()
read_image (Image, 'D:/1.png')
get_image_size (Image, Width, Height)
dev_open_window (0, 0, 640, 480, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
dev_set_draw ('margin')
dev_set_line_width (3)
dev_set_color ('red')
decompose3 (Image, R, G, B)
fft_generic (B, ImageFFT, 'to_freq', -1, 'sqrt', 'dc_center', 'complex')
gen_gauss_filter (ImageGauss, 50, 50, 0, 'none', 'dc_center', Width, Height)
convol_fft (ImageFFT, ImageGauss, ImageConvol)
fft_generic (ImageConvol, ImageBackground, 'from_freq', 1, 'sqrt', 'dc_center', 'byte')
* 影像減去背景，增加特徵與背景對比度
sub_image (B, ImageBackground, ImageSub, 2, 100)
* 中值濾波，為分水嶺域做準備
median_image (ImageSub, ImageMedian, 'circle', 9, 'mirrored')
watersheds_threshold (ImageMedian, Basins, 20)
* 缺陷部分是黑色的，灰度值小能量就小，所以根據能量可以將缺陷的區域篩選出來
cooc_feature_image (Basins, ImageMedian, 6, 0, Energy, Correlation, Homogeneity, Contrast)
Mask := Energy [<=] 0.05
select_mask_obj (Basins, Defects, Mask)
dev_display (Image)
dev_display (Defects)
count_obj (Defects, NDefects)
disp_message (WindowHandle, NDefects + ' \'mura\' defects detected', 'window', 12, 12, 'red', 'true')

 

 ? 相關API引數：

  • cooc_feature_image（計算影像的灰度共生矩陣）
cooc_feature_image(Regions, Image ,LdGray, Direction ,Energy, Correlation, Homogeneity, Contrast)

引數列表：
Regions（in）     //要檢查的區域。
Image （in）      //灰度影像。
LdGray(in）       //要區分的灰度值的數量。（預設6）
Direction （in）  //矩陣的計算方向('0','45','90','130','mean‘）
Energy（out）     //能量
Correlation（out）//相關性
Homogeneity（out) //區域性均勻性
Contrast（out）   //對比度（反差）

  輸出引數詳解：

能量（Energy）：是對影像紋理的灰度變化穩定程度的度量,反應了影像灰度分佈均勻程度和紋理粗細度。能量越大，表示灰度變化比較穩定，反映了紋理變化的均勻程度。。對於灰度圖來說，能量低說明灰度值低，對於彩色圖來說，能量低說明光強低。

相關性（Correlation）：表示紋理在行或者列方向的相似程度。相關性越大，相似性越高。

區域性均勻性（Homogeneity）：反映影像區域性紋理的變化量。值越大，表示影像區域性的變化越小。

(反差）對比度（Contrast）：表示矩陣的值的差異程度，也間接表現了影像的區域性灰度變化幅度。反差值越大，影像中的紋理深淺越明顯，表示影像越清晰；反之，則表示影像越模糊。

  • watersheds_threshold(閾值分水嶺影像分割)
watersheds_threshold(Image ,Basins ,Threshold )

引數列表：
Image（in）//輸入影像(最好先用中值濾波處理）
Basins（out）//輸出二值影像（盆地）
Threshold（in）//閾值

 運算元描述：

第一步：計算出分水嶺（不使用該引數Threshold ），分割的盆地和呼叫運算元watersheds得到的盆地是相同的
第二步：如果被一個分水嶺分割的相鄰盆地與對應分水嶺的高度差小於Threshold ，盆地依次合併。假設B1和B2分別是兩個相鄰盆地的最小灰度值，W是盆地對應分水嶺的最小灰度值。當滿足以下條件時，兩個盆地合併：max{W-B1，W-B2}<Threshold 。由此得到的盆地儲存在Basins 變數中。

 

相關文章