opencv實戰——影像矯正演算法深入探討

唯有自己強大發表於2021-05-20
OpenCV演算法

摘要

在機器視覺中，對於影像的處理有時候因為放置的原因導致ROI區域傾斜，這個時候我們會想辦法把它糾正為正確的角度視角來，方便下一步的佈局分析與文字識別，這個時候通過透視變換就可以取得比較好的裁剪效果。

本次實戰，對於影像的矯正使用了兩種矯正思路：

  • 針對邊緣比較明顯的影像，使用基於輪廓提取的矯正演算法。
  • 針對邊緣不明顯，但是排列整齊的文字影像，使用了基於霍夫直線探測的矯正演算法。

 基於輪廓提取的矯正演算法

?整體思路：

  1. 圖片灰度化，二值化
  2. 檢測輪廓,並篩選出目標輪廓（通過橫縱比或面積去除干擾輪廓)
  3. 獲取目標輪廓的最小外接矩形
  4. 獲取最小外接矩形的四頂點，並定義矯正影像後的四頂點
  5. 透視變換（四點變換）

opencv實現（分解步驟）：

 （一）圖片灰度化，二值化（開運算，消除噪點）

    Mat src = imread("D:/opencv練習圖片/圖片矯正.png");
    imshow("原圖片", src);
    // 二值影像
    Mat gray, binary;
    cvtColor(src, gray, COLOR_BGR2GRAY);
    threshold(gray, binary, 0, 255, THRESH_BINARY_INV| THRESH_OTSU);
    imshow("二值化", binary);
    // 定義結構元素
    Mat se = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(binary, binary, MORPH_OPEN, se);
    imshow("開運算", binary);

 

注意：由於原影像背景是白色，因此二值化時候要用 THRESH_BINARY_INV

 （二）提取輪廓，篩選輪廓

// 尋找最大輪廓
    vector<vector<Point>> contours;
    findContours(binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);
    int index = -1;
    int max = 0;
    for (size_t i = 0; i < contours.size(); i++) 
    {
        double area = contourArea(contours[i]);
        if (area > max) 
        {
            max = area;
            index = i;
        }
    }

（三）求取最小外接矩形以及四頂點座標，並定義變換後的四頂點座標

// 尋找最小外接矩形
    RotatedRect rect = minAreaRect(contours[index]);    
    Point2f srcpoint[4];//存放變換前四頂點
    Point2f dstpoint[4];//存放變換後四頂點
    rect.points(srcpoint);//獲取最小外接矩形四頂點座標
    //顯示頂點
    for (size_t i = 0; i < 4; i++)
    {
        circle(src, srcpoint[i], 5, Scalar(0, 0, 255),-1);//-1表示填充
    }
    imshow("頂點座標", src);
    //獲取外接矩形寬高
    float width = rect.size.width;
    float height = rect.size.height;
    //定義矯正後四頂點
    dstpoint[0]= Point2f(0, height);
    dstpoint[1] = Point2f(0, 0);
    dstpoint[2] = Point2f(width, 0);
    dstpoint[3] = Point2f(width, height);

? 這裡需要注意的是：

1️⃣RotatedRect 類的矩形返回的是矩形的中心座標，傾斜角度。

     Rect類的矩形返回的是矩形的左上角座標，寬，高。 因此要獲取RotatedRect 類的矩形的寬，高就要用：

//獲取外接矩形寬高
    float width = rect.size.width;
    float height = rect.size.height;

2️⃣獲取RotatedRect 類四頂點座標的順序依次是：左下-左上-右上-右下（可通過顯示頂點依次檢視）

     對應矯正後的四頂點就是：(0，height)-(0，0)-(width，0)-(width，height）

 （四）透視變換

// 透視變換
    Mat M = getPerspectiveTransform(srcpoint, dstpoint);
    Mat result = Mat::zeros(Size(width, height), CV_8UC3);
    warpPerspective(src, result, M, result.size());
    imshow("矯正結果", result);

 

 

 基於霍夫直線探測的矯正演算法

對於文字影像（如圖），它沒有明顯的輪廓邊緣去求四頂點。但是經過深入分析，可以發現：文字的每一行文字都是呈一條直線，而且這些直線都是平行的！

利用這個特徵就可以實現基於霍夫直線探測的矯正演算法：

  1. 用霍夫線變換探測出影像中的所有直線
  2. 計算出每條直線的傾斜角，求他們的平均值
  3. 根據傾斜角旋轉矯正

?先來看看什麼是霍夫變換：

霍夫變換在檢測各種形狀的的技術中非常流行，如果你要檢測的形狀可以用數學表示式寫出，你就可以是使用霍夫變換檢測它。

霍夫變換的直線檢測簡單來說就是在空間座標系和對映到另外一個引數空間，將空間座標系中的每一個點對映到另外一個引數空間中的線，通過該引數空間中所有線的交叉次數得到實際空間座標系中的直線。

在OpenCV中，使用Hough變換的直線檢測在函式HoughLines和HoughLinesP中實現。

  • HoughLines函式（標準霍夫變換）

從平面座標轉換到霍夫空間，最終輸出是找到直線的極座標（r，θ）

HoughLines(
InputArray src,        // 輸入影像，必須CV_8U的二值影像（常用canny處理後的二值影像）
OutputArray lines,     // 輸出的極座標來表示直線
double rho,            // 步長(常為1）
double theta,          //角度，（一般是CV_PI/180）
int threshold,         // 閾值，只有獲得足夠交點的極座標點才被看成是直線
double min_theta=0，   // 表示角度掃描範圍 0 ~180之間， 預設即可
double max_theta=CV_PI) 
// 一般情況是有經驗的開發者使用，需要自己反變換到平面空間
  • HoughLinesP函式（霍夫變換直線概率)

從平面座標轉換到霍夫空間，最終輸出是找到直線的起點和終點（直角座標系）

HoughLinesP(
InputArray src, // 輸入影像，必須CV_8U的二值影像
OutputArray lines, // 輸出找到直線的兩點
double rho, // 步長（半徑，常設為1）
double theta, //角度，一般取值CV_PI/180
Int threshold, // 閾值，累計次數必須達到的值,一般為150
double minLineLength=0，// 最小直線長度，一般為50
double maxLineGap=0）// 最大間隔，一般為10

?opencv實現（分解步驟）：

 （一）圖片灰度化，Canny邊緣提取

Mat src, src_edge, src_gray,src_rotate;
    double angle;
    src = imread("D:/opencv練習圖片/文字矯正.png");
    imshow("文字圖片", src);
    cvtColor(src, src_gray, COLOR_RGB2GRAY);
    Canny(src_gray, src_edge, 50, 200, 3);
    imshow("canny", src_edge);

（二） 霍夫直線檢測（HoughLines函式）並顯示

    //通過霍夫變換檢測直線
    vector<Vec2f> plines;
    //第5個引數就是閾值，閾值越大，檢測精度越高
    HoughLines(src_edge, plines, 1, CV_PI / 180, 200, 0, 0);
    cout << plines.size() << endl;
    //由於影像不同，閾值不好設定，因為閾值設定過高導致無法檢測直線，閾值過低直線太多，速度很慢
    //所以根據閾值由大到小設定了三個閾值，如果經過大量試驗後，可以固定一個適合的閾值。
    
    float sum = 0;
    //依次畫出每條線段
    for (size_t i = 0; i < plines.size(); i++)
    {
        float rho = plines[i][0];
        float theta = plines[i][1];
        Point pt1, pt2;
        double a = cos(theta), b = sin(theta);
        double x0 = a * rho, y0 = b * rho;
        pt1.x = cvRound(x0 + 1000 * (-b));//cvRound四捨五入
        pt1.y = cvRound(y0 + 1000 * (a));
        pt2.x = cvRound(x0 - 1000 * (-b));
        pt2.y = cvRound(y0 - 1000 * (a));
        sum += theta;
        line(src_gray, pt1, pt2, Scalar(55, 100, 195), 1, LINE_AA);//Scalar函式用於調節線段顏色         
        imshow("直線探測效果圖", src_gray);
        float average = sum / plines.size(); //對所有角度求平均，這樣做旋轉效果會更好
        angle = DegreeTrans(average) - 90;
    }

?核心程式碼分析：

由於需要求解直線的傾斜角度，因此這裡使用了HoughLines函式，返回的是直線的步長和弧度（極座標系下）

通過極座標系下的步長和弧度，可以轉換到直接座標系下的兩點座標，然後顯示。（原理如圖）

（三）根據傾斜角度，進行放射變換（逆時針旋轉矯正）

     //旋轉中心為影像中心    
    Point2f center;
    center.x = float(src.cols / 2.0);
    center.y = float(src.rows / 2.0);
    int length = 0;
    length = sqrt(src.cols*src.cols + src.rows*src.rows);
    Mat M = getRotationMatrix2D(center, angle, 1);
    warpAffine(src, src_rotate, M, Size(length, length), 1, 0, Scalar(255, 255, 255));//仿射變換，背景色填充為白色  
    imshow("矯正後", src_rotate);

 

 

相關文章