引言
在機器視覺中，有時需要對產品進行檢測和計數。其難點無非是對於產品的影像分割。
由於之前網購的維生素片，有時候忘了今天有沒有吃過，就想對瓶子裡的藥片計數...在學習opencv以後，希望實現對於維生素片分割計數演算法。本次實戰在基於形態學的基礎上又衍生出基於距離變換的分水嶺演算法，使其實現的效果更具普遍性。
基於形態學的維生素片檢測和計數
?整體思路：
- 讀取圖片
- 形態學處理（在二值化前進行適度形態學處理，效果俱佳）
- 二值化
- 提取輪廓（進行藥片分割）
- 獲取輪廓索引，並篩選所需要的輪廓
- 畫出輪廓，顯示計數
opencv實現：
int main(int argc, char** argv) { Mat src, src_binary,dst,src_distance; src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數.png"); imshow("原圖片", src); Mat kernel = getStructuringElement(MORPH_RECT, Size(16, 16), Point(-1, -1)); morphologyEx(src, dst, MORPH_OPEN, kernel); imshow("形態學",dst); cvtColor(dst, dst, COLOR_RGB2GRAY); threshold(dst, src_binary, 100, 255, THRESH_OTSU); imshow("二值化", src_binary); vector<vector<Point>> contours; findContours(src_binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE, Point(0, 0)); RNG rng(12345); double area; Point2i PL; for (size_t i = 0; i < contours.size(); i++) { area = contourArea(contours[i]); if (area < 500)continue; PL = contours[i].front(); Scalar color = Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255)); drawContours(src, contours, i, color, 2, 8); putText(src, to_string(i), PL, FONT_HERSHEY_COMPLEX, 1, color, 2); } imshow("計數結果", src); waitKey(0); return 0; }
效果展示：
由上圖可以看的，原圖在經過形態學處理後，可以去除很多細節，簡化後續的藥片分割操作。
但是在計數結果圖上發現，索引17號藥片並沒有完全分割（實際上修改形態學的結構元素尺寸（改為20*20）也可以完全分離這兩個藥片）。
?這不由得讓我們思考，如果簡單的形態學處理分割不了藥片呢？
對於複雜的產品圖片，我們可以使用基於距離變換的分水嶺演算法對其分割。
基於距離變換的分水嶺演算法檢測和計數
OpenCV 採用了基於標記點的分水嶺演算法，在這種演算法中我們要設定哪些山谷點會匯合，哪些不會。這是一種互動式的影像分割。我們要做的就是給我們已知的物件打上不同的標籤（即新增註水點）。然後實施分水嶺演算法。每一次灌水，我們的標籤就會被更新，當兩個不同顏色的標籤相遇時就構建堤壩，直到將所有山峰淹沒，最後我們得到的邊界物件（堤壩）的值為 -1。
?對於如何打上標籤（即新增註水點）有兩種辦法：
opencv中，對於一張二值化的影像，後續處理方式有兩種。第一種方式就是利用findContours、drawContours等函式進行輪廓分析（opencv以對輪廓的處理為主）。第二種方式就是計算連通域進行區域分析。
第一種（基於輪廓）：在二值化後，對影像尋找輪廓findContours，篩選出注水區域輪廓，然後通過drawContours對輪廓標記。
第二種（基於區域）：在二值化後，先對尋找影像中的前景圖（即注水點），再尋找到背景圖（進行膨脹），最後找到未知區域（背景減去前景，得到邊緣圖），通過connectedComponents()獲取標記點。
相關API:
- 分水嶺函式watershed函式原型
void watershed( InputArray image, InputOutputArray markers );
第一個輸入引數 image，必須是CV_8UC3型別影像。
第二個輸入/輸出引數markers必須是32位單通道影像。和image尺寸一樣。包含不同區域的輪廓，每個輪廓有一個自己唯一的編號。
?在執行watershed函式後，演算法會根據markers傳入的輪廓作為種子，對影像上其他的畫素點根據分水嶺演算法規則進行判斷，並對每個畫素點的區域歸屬進行劃定，直到處理完影像上所有畫素點。而區域與區域之間的分界處的值被置為“-1”，以做區分。
- 距離變換函式distanceTransform函式原型
距離變換運算用於計算二值化影像中的每一個非零點距自己最近的零點的距離，距離變換影像上越亮的點，代表了這一點距離零點的距離越遠。
距離變換通常用於求解影像的骨骼和查詢物體的質心（即獲取距離變換的極大值）和計算非零畫素到最近零畫素點的最短距離。
distanceTransform( InputArray src, OutputArray dst, int distanceType, int maskSize，int dstType = CV_32F);
第一個輸入引數src，必須是CV_8UC1型別的二值影像（只有0或1）
第二個輸出引數dst，表示的是計算距離的輸出影像，輸出型別是CV_32F/CV_8U的單通道影像，大小與輸入圖片相同。
第三個引數distanceType，表示的是選取距離的型別，可以設定為DIST_L1,DIST_L2,DIST_C
第四個引數maskSize，表示的是距離變換的掩膜模板，可以設定為3，5（常用3）
第四個引數dstType，表示輸出型別,可選擇CV_32F/CV_8U
注：若輸出型別為CV_32F，想要顯示距離變換後的骨架影像，需要對其歸一化。（normalize）
???????
先來看看第一種標記mark（基於輪廓）的方法：
（一）讀入影像，形態學，二值化（消除噪聲）
Mat src, src_binary, dst, src_distance; src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數.png"); imshow("原圖片", src); Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1)); morphologyEx(src, dst, MORPH_OPEN, kernel); imshow("形態學", dst); cvtColor(dst, dst, COLOR_RGB2GRAY); threshold(dst, src_binary, 100, 255, THRESH_OTSU); imshow("二值化", src_binary);
（二）距離變換（歸一化顯示），再二值化
distanceTransform(src_binary, src_distance, DIST_L2, 3, 5); normalize(src_distance, src_distance, 0, 1, NORM_MINMAX); imshow("距離變換", src_distance); threshold(src_distance, src_distance, 0.4,1, THRESH_BINARY); imshow("再二值化", src_distance);
經過距離變換後的二值化，可以清晰看到，藥片以及完全分割開來。
（三）打上標籤（新增註水點）,基於輪廓
//尋找標記點marsk的輪廓資訊 也就是分水嶺的水壩 src_distance.convertTo(src_distance, CV_8UC1); vector<vector<Point>> contours; findContours(src_distance, contours, RETR_TREE, CHAIN_APPROX_SIMPLE); //建立maker Mat markers = Mat::zeros(src.size(), CV_32S);// //因為分水嶺後的邊緣儲存是-1，所以必須使用有符號的CV_32S for (size_t t = 0; t < contours.size(); t++) { drawContours(markers, contours, static_cast<int>(t), Scalar(static_cast<int>(t) + 1), -1);//輪廓數字編號 } circle(markers, Point(5, 5), 30, Scalar(255), -1);//關鍵程式碼（mark做一個小標記） int index1 = 0; //列印輪廓資料 有值的均為輪廓線 for (int row = 0; row < markers.rows; row++) for (int col = 0; col < markers.cols; col++) { index1 = markers.at<int>(row, col); cout << index1 << ","; }
部分標籤markers輪廓資料截圖，可以看到0代表背景，輪廓線用正數索引標識。
（四）進行分水嶺操作，並給分水嶺後的區域隨機上色，並列印出檢測的藥片個數。
// 生成隨機顏色 vector<Vec3b> colors; for (size_t i = 0; i < contours.size(); i++) { int r = theRNG().uniform(0, 255); int g = theRNG().uniform(0, 255); int b = theRNG().uniform(0, 255); colors.push_back(Vec3b((uchar)b, (uchar)g, (uchar)r)); } // 顏色填充與最終顯示 Mat dst1 = Mat::zeros(markers.size(), CV_8UC3); int index = 0; for (int row = 0; row < markers.rows; row++) { for (int col = 0; col < markers.cols; col++) { index = markers.at<int>(row, col); if (index > 0 && index <= contours.size()) { dst1.at<Vec3b>(row, col) = colors[index - 1]; } else { dst1.at<Vec3b>(row, col) = Vec3b(0, 0, 0); } } } imshow("結果顯示", dst1); printf("藥片檢測個數: %d\n", contours.size());
???????
再來看看第二種標記mark（基於區域）的方法：
（一）讀入影像，形態學，二值化（消除噪聲）
Mat foreground, background, unkonwn;//建立前景，背景,未知區域 Mat src, src_binary, dst, src_distance; src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數.png"); imshow("原圖片", src); Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1)); morphologyEx(src, dst, MORPH_OPEN, kernel); imshow("形態學", dst); cvtColor(dst, dst, COLOR_RGB2GRAY); threshold(dst, src_binary, 100, 255, THRESH_OTSU); imshow("二值化", src_binary);
（二）對二值化影像進行膨脹操作，得到大部分是背景的圖片
//得到背景圖片 dilate(src_binary, background, kernel, Point(-1, -1), 3); imshow("背景圖片", background);
（三）通過對二值影像距離變換得到前景圖片（即注水點）
//距離變換 distanceTransform(src_binary, src_distance, DIST_L2, 3, 5); imshow("距離變換", src_distance); normalize(src_distance, src_distance, 0, 255, NORM_MINMAX); double my_minv = 0.0, my_maxv = 0.0; minMaxIdx(src_binary, &my_minv, &my_maxv); threshold(src_distance, foreground, 0.4 * my_maxv, 255, THRESH_BINARY); foreground.convertTo(foreground, CV_8U); imshow("前景圖片", foreground);
（四）通過背景與前景的差值，得到未知區域（即邊緣所在區域）
//得到未知區域 unkonwn = background - foreground; imshow("未知區域", unkonwn);
（五）得到這些區域以後，我們可以獲取注水點的標籤，通過connectedComponents實現（即獲取markers標籤）
//建立標記點markers Mat markers = Mat(src.size(), CV_32S); int num = connectedComponents(foreground, markers, 8); cout << num << endl; markers = markers + 1; for (int i = 0; i < unkonwn.rows; i++) { for (int j = 0; j < unkonwn.cols; j++) { if (((int)unkonwn.at<uchar>(i, j)) == 255) { markers.at<signed int>(i, j) = 0; } } }
詳細理解該步驟：
現在我們已經知道哪些是背景，哪些是藥片（前景區域）。
因此我們可以建立一個標籤（和原圖大小，型別為CV_32S)，通過connectedComponents函式對前景區域進行標記
該函式會對前景區域連通域分析，並將背景設定為0，其他區域從1開始正整數標記（這就是我們的種子，水漫時會從這裡漫出），結果返回給markers。
但是對於分水嶺演算法，會將為0的區域認為是未知區域，因此要markers整體加一。
（六）進行分水嶺操作，並顯示邊緣
watershed(src, markers); for (int row = 0; row < markers.rows; row++) { for (int col = 0; col < markers.cols; col++) { if (markers.at< int>(row, col) == -1) { src.at<Vec3b>(row, col) = Vec3b(0, 0, 255); } } } imshow("結果", src);
由於分水嶺演算法會將找到的邊緣在markers置為-1,因此我們對原圖操作，將索引為-1的位置的畫素值改為紅色（即顯示邊緣）。
參考連結：OpenCV---分水嶺演算法 - 山上有風景 - 部落格園 (cnblogs.com)