特徵點又稱興趣點、關鍵點，它是在影象中突出且具有代表意義的一些點，通過這些點我們可以用來識別影象、進行影象配準、進行3D重建等。本文主要介紹OpenCV中幾種定位與表示關鍵點的函式。
一、Harris角點
角點是影象中最基本的一種關鍵點，它是由影象中一些幾何結構的關節點構成，很多都是線條之間產生的交點。Harris角點是一類比較經典的角點型別，它的基本原理是計算影象中每點與周圍點變化率的平均值。
（1）
（2）
其中I(x+u,y+u)代表了點(x,y)鄰域點的灰度值。通過變換可以將上式變化為一個協方差矩陣求特徵值的問題(2)，具體數學原理本文不過多描述。
OpenCV的Hairrs角點檢測的函式為cornerHairrs()，但是它的輸出是一幅浮點值影象，浮點值越高，表明越可能是特徵角點，我們需要對影象進行閾值化。我們使用一張建築影象來顯示：
|
1 2 3 4 5 6 7 8 9 10 11 |
int main() { Mat image=imread("../buliding.png"); Mat gray; cvtColor(image,gray,CV_BGR2GRAY); Mat cornerStrength; cornerHarris(gray,cornerStrength,3,3,0.01); threshold(cornerStrength,cornerStrength,0.001,255,THRESH_BINARY); return 0; } |
首先我們來說明一下cornerHairrs()這個函式引數的意思：
前2引數是輸入與輸出，輸入是一個灰度影象，輸出是一個浮點影象，第三個引數指定角點分析的鄰域，第4個引數實際上在角點求取過程中計算梯度影象的核視窗大小，第5個引數是它原理公式(2)中的一個係數。
從上面的例子的結果我們可以看到，有很多角點都是粘連在一起的，我們下面通過加入非極大值抑制來進一步去除一些粘在一起的角點。
非極大值抑制原理是，在一個視窗內，如果有多個角點則用值最大的那個角點，其他的角點都刪除，視窗大小這裡我們用3*3，程式中通過影象的膨脹運算來達到檢測極大值的目的，因為預設引數的膨脹運算就是用視窗內的最大值替代當前的灰度值。程式的最後使用了一個畫角點的函式將角點顯示在影象中，這個函式與本系列第5篇中畫角點的函式是一致的。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 |
int main() { Mat image=imread("../buliding.png"); Mat gray; cvtColor(image,gray,CV_BGR2GRAY); Mat cornerStrength; cornerHarris(gray,cornerStrength,3,3,0.01); double maxStrength; double minStrength; // 找到影象中的最大、最小值 minMaxLoc(cornerStrength,&minStrength,&maxStrength); Mat dilated; Mat locaMax; // 膨脹影象，最找出影象中全部的區域性最大值點 dilate(cornerStrength,dilated,Mat()); // compare是一個邏輯比較函式，返回兩幅影象中對應點相同的二值影象 compare(cornerStrength,dilated,locaMax,CMP_EQ); Mat cornerMap; double qualityLevel=0.01; double th=qualityLevel*maxStrength; // 閾值計算 threshold(cornerStrength,cornerMap,th,255,THRESH_BINARY); cornerMap.convertTo(cornerMap,CV_8U); // 逐點的位運算 bitwise_and(cornerMap,locaMax,cornerMap); drawCornerOnImage(image,cornerMap); namedWindow("result"); imshow("result",image); waitKey(); return 0; } void drawCornerOnImage(Mat& image,const Mat&binary) { Mat_<uchar>::const_iterator it=binary.begin<uchar>(); Mat_<uchar>::const_iterator itd=binary.end<uchar>(); for(int i=0;it!=itd;it++,i++) { if(*it) circle(image,Point(i%image.cols,i/image.cols),3,Scalar(0,255,0),1); } } |
現在我們得到的效果就比預設的函式得到的結果有相當的改善。
由於cornerHarris的一些缺點，OpenCV提供了另一個相似的函式GoodFeaturesToTrack()它用角點間的距離限制來防止角點粘連在一起。
|
1 2 3 4 |
goodFeaturesToTrack(image,corner, 500, // 最多檢測到的角點數 0.01, // 閾值係數 10); // 角點間的最小距離 |
它可以得到與上面基本一致的結果。
二、FAST特徵點
harris特徵在演算法複雜性上比較高，在大的複雜的目標識別或匹配應用上效率不能滿足要求，OpenCV提供了一個快速檢測角點的類FastFeatureDetector，而實際上FAST並不是快的意思，而是Features from Accelerated Segment Test，但這個演算法效率確實比較高，下面我們來看看這個類的用法。
OpenCV裡為角點檢測提供了統一的介面，通過類下面的detect方法來檢測對應的角點，而輸出格式都是vector<KeyPoint>。
|
1 2 3 4 5 6 7 |
vector<KeyPoint> keypoints; FastFeatureDetector fast( // 定義檢測類 40); //40是檢測的閾值 fast.detect(image,keypoints); drawKeypoints(image,keypoints,image,Scalar(255,0,0), DrawMatchesFlags::DRAW_OVER_OUTIMG); |
其中drawKeypoints是OpenCV提供的在影象上畫角點的函式。它的引數可以讓我們選擇用不同的方式標記出特徵點。
三、尺度不變的SURF特徵
surf特徵是類似於SIFT特徵的一種尺度不變的特徵點，它的優點在於比SIFT效率要高，在實際運算中可以達到實時性的要求，關於SURF的原理這裡就不過多的介紹，網路上這類的文章很多。
類似於FAST特徵點的求法，SURF也可以使用通用介面求得，而SURF特徵的類為SurfFeatureDetector，類似的SIFT特徵點的檢測類為SiftFeatureDetector。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
#include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/nonfree/features2d.hpp> using namespace cv; int main() { Mat image=imread("../buliding.png"); vector<KeyPoint> keypoints; SurfFeatureDetector surf(2500.); surf.detect(image,keypoints); drawKeypoints(image,keypoints,image,Scalar(255,0,0), DrawMatchesFlags::DRAW_RICH_KEYPOINTS); namedWindow("result"); imshow("result",image); waitKey(); return 0; } |
這裡有一個值得說明的問題是：OpenCV2.4版本後好像把SurfFeatureDetector這個類的定義移到了標頭檔案nonfree/features2d.hpp
中，所以標頭檔案中要加入該檔案，並且要把opencv_nonfree24xd.lib加入屬性表的連結器熟悉的輸入中，其中x換成你當前opencv的版本號。
最終的顯示效果如下：
四、SURF特徵的描述
在影象配準中，特徵點的描述往往不是位置這麼簡單，而是使用了一個N維向量來描述一個特徵點，這些描述子之間可以通過定義距離公式來比較相近程度。
SurfDescriptorExtractor 是一個提取SURF特徵點以及其描述的類。
下面是一個寬景影象的拼接配準的例子：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
#include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/nonfree/features2d.hpp> #include <opencv2/legacy/legacy.hpp> using namespace cv; int main() { Mat image1=imread("../b1.png"); Mat image2=imread("../b2.png"); // 檢測surf特徵點 vector<KeyPoint> keypoints1,keypoints2; SurfFeatureDetector detector(400); detector.detect(image1, keypoints1); detector.detect(image2, keypoints2); // 描述surf特徵點 SurfDescriptorExtractor surfDesc; Mat descriptros1,descriptros2; surfDesc.compute(image1,keypoints1,descriptros1); surfDesc.compute(image2,keypoints2,descriptros2); // 計算匹配點數 BruteForceMatcher<L2<float>>matcher; vector<DMatch> matches; matcher.match(descriptros1,descriptros2,matches); std::nth_element(matches.begin(),matches.begin()+24,matches.end()); matches.erase(matches.begin()+25,matches.end()); // 畫出匹配圖 Mat imageMatches; drawMatches(image1,keypoints1,image2,keypoints2,matches, imageMatches,Scalar(255,0,0)); namedWindow("image2"); imshow("image2",image2); waitKey(); return 0; } |
程式中我們選擇了25個配準點，得到最後的匹配如下：
