我的數學之美（一）——RANSAC演算法詳解

pamxy發表於2013-06-30
演算法

轉自：http://grunt1223.iteye.com/blog/961063#

給定兩個點p1與p2的座標，確定這兩點所構成的直線，要求對於輸入的任意點p3，都可以判斷它是否在該直線上。初中解析幾何知識告訴我們，判斷一個點在直線上，只需其與直線上任意兩點點斜率都相同即可。實際操作當中，往往會先根據已知的兩點算出直線的表示式（點斜式、截距式等等），然後通過向量計算即可方便地判斷p3是否在該直線上。 

生產實踐中的資料往往會有一定的偏差。例如我們知道兩個變數X與Y之間呈線性關係，Y=aX+b，我們想確定引數a與b的具體值。通過實驗，可以得到一組X與Y的測試值。雖然理論上兩個未知數的方程只需要兩組值即可確認，但由於系統誤差的原因，任意取兩點算出的a與b的值都不盡相同。我們希望的是，最後計算得出的理論模型與測試值的誤差最小。大學的高等數學課程中，詳細闡述了最小二乘法的思想。通過計算最小均方差關於引數a、b的偏導數為零時的值。事實上，在很多情況下，最小二乘法都是線性迴歸的代名詞。 

遺憾的是，最小二乘法只適合與誤差較小的情況。試想一下這種情況，假使需要從一個噪音較大的資料集中提取模型（比方說只有20%的資料時符合模型的）時，最小二乘法就顯得力不從心了。例如下圖，肉眼可以很輕易地看出一條直線（模式），但演算法卻找錯了。 



RANSAC演算法的輸入是一組觀測資料（往往含有較大的噪聲或無效點），一個用於解釋觀測資料的引數化模型以及一些可信的引數。RANSAC通過反覆選擇資料中的一組隨機子集來達成目標。被選取的子集被假設為局內點，並用下述方法進行驗證： 

  • 有一個模型適應於假設的局內點，即所有的未知引數都能從假設的局內點計算得出。
  • 用1中得到的模型去測試所有的其它資料，如果某個點適用於估計的模型，認為它也是局內點。
  • 如果有足夠多的點被歸類為假設的局內點，那麼估計的模型就足夠合理。
  • 然後，用所有假設的局內點去重新估計模型（譬如使用最小二乘法），因為它僅僅被初始的假設局內點估計過。
  • 最後，通過估計局內點與模型的錯誤率來評估模型。
  • 上述過程被重複執行固定的次數，每次產生的模型要麼因為局內點太少而被捨棄，要麼因為比現有的模型更好而被選用。


整個過程可參考下圖： 



關於演算法的原始碼，Ziv Yaniv曾經寫一個不錯的C++版本，我在關鍵處增補了註釋： 
C程式碼  收藏程式碼
  1. #include <math.h>  
  2. #include "LineParamEstimator.h"  
  3.   
  4. LineParamEstimator::LineParamEstimator(double delta) : m_deltaSquared(delta*delta) {}  
  5. /*****************************************************************************/  
  6. /* 
  7.  * Compute the line parameters  [n_x,n_y,a_x,a_y] 
  8.  * 通過輸入的兩點來確定所在直線，採用法線向量的方式來表示，以相容平行或垂直的情況 
  9.  * 其中n_x,n_y為歸一化後，與原點構成的法線向量，a_x,a_y為直線上任意一點 
  10.  */  
  11. void LineParamEstimator::estimate(std::vector<Point2D *> &data,   
  12.                                                                     std::vector<double> &parameters)  
  13. {  
  14.     parameters.clear();  
  15.     if(data.size()<2)  
  16.         return;  
  17.     double nx = data[1]->y - data[0]->y;  
  18.     double ny = data[0]->x - data[1]->x;// 原始直線的斜率為K，則法線的斜率為-1/k  
  19.     double norm = sqrt(nx*nx + ny*ny);  
  20.       
  21.     parameters.push_back(nx/norm);  
  22.     parameters.push_back(ny/norm);  
  23.     parameters.push_back(data[0]->x);  
  24.     parameters.push_back(data[0]->y);          
  25. }  
  26. /*****************************************************************************/  
  27. /* 
  28.  * Compute the line parameters  [n_x,n_y,a_x,a_y] 
  29.  * 使用最小二乘法，從輸入點中擬合出確定直線模型的所需參量 
  30.  */  
  31. void LineParamEstimator::leastSquaresEstimate(std::vector<Point2D *> &data,   
  32.                                                                                             std::vector<double> &parameters)  
  33. {  
  34.     double meanX, meanY, nx, ny, norm;  
  35.     double covMat11, covMat12, covMat21, covMat22; // The entries of the symmetric covarinace matrix  
  36.     int i, dataSize = data.size();  
  37.   
  38.     parameters.clear();  
  39.     if(data.size()<2)  
  40.         return;  
  41.   
  42.     meanX = meanY = 0.0;  
  43.     covMat11 = covMat12 = covMat21 = covMat22 = 0;  
  44.     for(i=0; i<dataSize; i++) {  
  45.         meanX +=data[i]->x;  
  46.         meanY +=data[i]->y;  
  47.   
  48.         covMat11    +=data[i]->x * data[i]->x;  
  49.         covMat12    +=data[i]->x * data[i]->y;  
  50.         covMat22    +=data[i]->y * data[i]->y;  
  51.     }  
  52.   
  53.     meanX/=dataSize;  
  54.     meanY/=dataSize;  
  55.   
  56.     covMat11 -= dataSize*meanX*meanX;  
  57.         covMat12 -= dataSize*meanX*meanY;  
  58.     covMat22 -= dataSize*meanY*meanY;  
  59.     covMat21 = covMat12;  
  60.   
  61.     if(covMat11<1e-12) {  
  62.         nx = 1.0;  
  63.             ny = 0.0;  
  64.     }  
  65.     else {      //lamda1 is the largest eigen-value of the covariance matrix   
  66.                //and is used to compute the eigne-vector corresponding to the smallest  
  67.                //eigenvalue, which isn't computed explicitly.  
  68.         double lamda1 = (covMat11 + covMat22 + sqrt((covMat11-covMat22)*(covMat11-covMat22) + 4*covMat12*covMat12)) / 2.0;  
  69.         nx = -covMat12;  
  70.         ny = lamda1 - covMat22;  
  71.         norm = sqrt(nx*nx + ny*ny);  
  72.         nx/=norm;  
  73.         ny/=norm;  
  74.     }  
  75.     parameters.push_back(nx);  
  76.     parameters.push_back(ny);  
  77.     parameters.push_back(meanX);  
  78.     parameters.push_back(meanY);  
  79. }  
  80. /*****************************************************************************/  
  81. /* 
  82.  * Given the line parameters  [n_x,n_y,a_x,a_y] check if 
  83.  * [n_x, n_y] dot [data.x-a_x, data.y-a_y] < m_delta 
  84.  * 通過與已知法線的點乘結果，確定待測點與已知直線的匹配程度；結果越小則越符合，為 
  85.  * 零則表明點在直線上 
  86.  */  
  87. bool LineParamEstimator::agree(std::vector<double> &parameters, Point2D &data)  
  88. {  
  89.     double signedDistance = parameters[0]*(data.x-parameters[2]) + parameters[1]*(data.y-parameters[3]);   
  90.     return ((signedDistance*signedDistance) < m_deltaSquared);  
  91. }  


RANSAC尋找匹配的程式碼如下： 
C程式碼  收藏程式碼
  1. /*****************************************************************************/  
  2. template<class T, class S>  
  3. double Ransac<T,S>::compute(std::vector<S> &parameters,   
  4.                                                       ParameterEsitmator<T,S> *paramEstimator ,   
  5.                                                     std::vector<T> &data,   
  6.                                                     int numForEstimate)  
  7. {  
  8.     std::vector<T *> leastSquaresEstimateData;  
  9.     int numDataObjects = data.size();  
  10.     int numVotesForBest = -1;  
  11.     int *arr = new int[numForEstimate];// numForEstimate表示擬合模型所需要的最少點數，對本例的直線來說，該值為2  
  12.     short *curVotes = new short[numDataObjects];  //one if data[i] agrees with the current model, otherwise zero  
  13.     short *bestVotes = new short[numDataObjects];  //one if data[i] agrees with the best model, otherwise zero  
  14.       
  15.   
  16.               //there are less data objects than the minimum required for an exact fit  
  17.     if(numDataObjects < numForEstimate)   
  18.         return 0;  
  19.         // 計算所有可能的直線，尋找其中誤差最小的解。對於100點的直線擬合來說，大約需要100*99*0.5=4950次運算，複雜度無疑是龐大的。一般採用隨機選取子集的方式。  
  20.     computeAllChoices(paramEstimator,data,numForEstimate,  
  21.                                         bestVotes, curVotes, numVotesForBest, 0, data.size(), numForEstimate, 0, arr);  
  22.   
  23.        //compute the least squares estimate using the largest sub set  
  24.     for(int j=0; j<numDataObjects; j++) {  
  25.         if(bestVotes[j])  
  26.             leastSquaresEstimateData.push_back(&(data[j]));  
  27.     }  
  28.         // 對局內點再次用最小二乘法擬合出模型  
  29.     paramEstimator->leastSquaresEstimate(leastSquaresEstimateData,parameters);  
  30.   
  31.     delete [] arr;  
  32.     delete [] bestVotes;  
  33.     delete [] curVotes;   
  34.   
  35.     return (double)leastSquaresEstimateData.size()/(double)numDataObjects;  
  36. }  


在模型確定以及最大迭代次數允許的情況下，RANSAC總是能找到最優解。經過我的實驗，對於包含80%誤差的資料集，RANSAC的效果遠優於直接的最小二乘法。 

RANSAC可以用於哪些場景呢？最著名的莫過於圖片的拼接技術。優於鏡頭的限制，往往需要多張照片才能拍下那種巨幅的風景。在多幅影象合成時，事先會在待合成的圖片中提取一些關鍵的特徵點。計算機視覺的研究表明，不同視角下物體往往可以通過一個透視矩（3X3或2X2）陣的變換而得到。RANSAC被用於擬合這個模型的引數（矩陣各行列的值），由此便可識別出不同照片中的同一物體。可參考下圖： 







另外，RANSAC還可以用於影象搜尋時的糾錯與物體識別定位。下圖中，有幾條直線是SIFT匹配演算法的誤判，RANSAC有效地將其識別，並將正確的模型（書本）用線框標註出來： 

 

相關文章