自己訓練SVM分類器進行HOG行人檢測

masikkk發表於2013-11-13
HOG

正樣本來源是INRIA資料集中的96*160大小的人體圖片，使用時上下左右都去掉16個畫素，擷取中間的64*128大小的人體。

負樣本是從不包含人體的圖片中隨機裁取的，大小同樣是64*128(從完全不包含人體的圖片中隨機剪裁出64*128大小的用於人體檢測的負樣本)。

SVM使用的是OpenCV自帶的CvSVM類。

首先計算正負樣本影象的HOG描述子，組成一個特徵向量矩陣，對應的要有一個指定每個特徵向量的類別的類標向量，輸入SVM中進行訓練。

訓練好的SVM分類器儲存為XML檔案，然後根據其中的支援向量和引數生成OpenCV中的HOG描述子可用的檢測子引數，再呼叫OpenCV中的多尺度檢測函式進行行人檢測。

難例(Hard Example)是指利用第一次訓練的分類器在負樣本原圖(肯定沒有人體)上進行行人檢測時所有檢測到的矩形框，這些矩形框區域很明顯都是誤報，把這些誤報的矩形框儲存為圖片，加入到初始的負樣本集合中，重新進行SVM的訓練，可顯著減少誤報。

用訓練好的分類器在負樣本原圖上檢測Hard Example見：用初次訓練的SVM+HOG分類器在負樣本原圖上檢測HardExample

Navneet Dalal在CVPR2005上的HOG原論文翻譯見：http://blog.csdn.net/masibuaa/article/details/14056807


#include <iostream>
#include <fstream>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/objdetect/objdetect.hpp>
#include <opencv2/ml/ml.hpp>

using namespace std;
using namespace cv;

#define PosSamNO 2400    //正樣本個數
#define NegSamNO 12000    //負樣本個數

#define TRAIN false    //是否進行訓練,true表示重新訓練，false表示讀取xml檔案中的SVM模型
#define CENTRAL_CROP true   //true:訓練時，對96*160的INRIA正樣本圖片剪裁出中間的64*128大小人體

//HardExample：負樣本個數。如果HardExampleNO大於0，表示處理完初始負樣本集後，繼續處理HardExample負樣本集。
//不使用HardExample時必須設定為0，因為特徵向量矩陣和特徵類別矩陣的維數初始化時用到這個值
#define HardExampleNO 4435  


//繼承自CvSVM的類，因為生成setSVMDetector()中用到的檢測子引數時，需要用到訓練好的SVM的decision_func引數，
//但通過檢視CvSVM原始碼可知decision_func引數是protected型別變數，無法直接訪問到，只能繼承之後通過函式訪問
class MySVM : public CvSVM
{
public:
	//獲得SVM的決策函式中的alpha陣列
	double * get_alpha_vector()
	{
		return this->decision_func->alpha;
	}

	//獲得SVM的決策函式中的rho引數,即偏移量
	float get_rho()
	{
		return this->decision_func->rho;
	}
};



int main()
{
	//檢測視窗(64,128),塊尺寸(16,16),塊步長(8,8),cell尺寸(8,8),直方圖bin個數9
	HOGDescriptor hog(Size(64,128),Size(16,16),Size(8,8),Size(8,8),9);//HOG檢測器，用來計算HOG描述子的
	int DescriptorDim;//HOG描述子的維數，由圖片大小、檢測視窗大小、塊大小、細胞單元中直方圖bin個數決定
	MySVM svm;//SVM分類器

	//若TRAIN為true，重新訓練分類器
	if(TRAIN)
	{
		string ImgName;//圖片名(絕對路徑)
		ifstream finPos("INRIAPerson96X160PosList.txt");//正樣本圖片的檔名列表
		//ifstream finPos("PersonFromVOC2012List.txt");//正樣本圖片的檔名列表
		ifstream finNeg("NoPersonFromINRIAList.txt");//負樣本圖片的檔名列表

		Mat sampleFeatureMat;//所有訓練樣本的特徵向量組成的矩陣，行數等於所有樣本的個數，列數等於HOG描述子維數	
		Mat sampleLabelMat;//訓練樣本的類別向量，行數等於所有樣本的個數，列數等於1；1表示有人，-1表示無人


		//依次讀取正樣本圖片，生成HOG描述子
		for(int num=0; num<PosSamNO && getline(finPos,ImgName); num++)
		{
			cout<<"處理："<<ImgName<<endl;
			//ImgName = "D:\\DataSet\\PersonFromVOC2012\\" + ImgName;//加上正樣本的路徑名
			ImgName = "D:\\DataSet\\INRIAPerson\\INRIAPerson\\96X160H96\\Train\\pos\\" + ImgName;//加上正樣本的路徑名
			Mat src = imread(ImgName);//讀取圖片
			if(CENTRAL_CROP)
				src = src(Rect(16,16,64,128));//將96*160的INRIA正樣本圖片剪裁為64*128，即剪去上下左右各16個畫素
			//resize(src,src,Size(64,128));

			vector<float> descriptors;//HOG描述子向量
			hog.compute(src,descriptors,Size(8,8));//計算HOG描述子，檢測視窗移動步長(8,8)
			//cout<<"描述子維數："<<descriptors.size()<<endl;

			//處理第一個樣本時初始化特徵向量矩陣和類別矩陣，因為只有知道了特徵向量的維數才能初始化特徵向量矩陣
			if( 0 == num )
			{
				DescriptorDim = descriptors.size();//HOG描述子的維數
				//初始化所有訓練樣本的特徵向量組成的矩陣，行數等於所有樣本的個數，列數等於HOG描述子維數sampleFeatureMat
				sampleFeatureMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, DescriptorDim, CV_32FC1);
				//初始化訓練樣本的類別向量，行數等於所有樣本的個數，列數等於1；1表示有人，0表示無人
				sampleLabelMat = Mat::zeros(PosSamNO+NegSamNO+HardExampleNO, 1, CV_32FC1);
			}

			//將計算好的HOG描述子複製到樣本特徵矩陣sampleFeatureMat
			for(int i=0; i<DescriptorDim; i++)
				sampleFeatureMat.at<float>(num,i) = descriptors[i];//第num個樣本的特徵向量中的第i個元素
			sampleLabelMat.at<float>(num,0) = 1;//正樣本類別為1，有人
		}

		//依次讀取負樣本圖片，生成HOG描述子
		for(int num=0; num<NegSamNO && getline(finNeg,ImgName); num++)
		{
			cout<<"處理："<<ImgName<<endl;
			ImgName = "D:\\DataSet\\NoPersonFromINRIA\\" + ImgName;//加上負樣本的路徑名
			Mat src = imread(ImgName);//讀取圖片
			//resize(src,img,Size(64,128));

			vector<float> descriptors;//HOG描述子向量
			hog.compute(src,descriptors,Size(8,8));//計算HOG描述子，檢測視窗移動步長(8,8)
			//cout<<"描述子維數："<<descriptors.size()<<endl;

			//將計算好的HOG描述子複製到樣本特徵矩陣sampleFeatureMat
			for(int i=0; i<DescriptorDim; i++)
				sampleFeatureMat.at<float>(num+PosSamNO,i) = descriptors[i];//第PosSamNO+num個樣本的特徵向量中的第i個元素
			sampleLabelMat.at<float>(num+PosSamNO,0) = -1;//負樣本類別為-1，無人
		}

		//處理HardExample負樣本
		if(HardExampleNO > 0)
		{
			ifstream finHardExample("HardExample_2400PosINRIA_12000NegList.txt");//HardExample負樣本的檔名列表
			//依次讀取HardExample負樣本圖片，生成HOG描述子
			for(int num=0; num<HardExampleNO && getline(finHardExample,ImgName); num++)
			{
				cout<<"處理："<<ImgName<<endl;
				ImgName = "D:\\DataSet\\HardExample_2400PosINRIA_12000Neg\\" + ImgName;//加上HardExample負樣本的路徑名
				Mat src = imread(ImgName);//讀取圖片
				//resize(src,img,Size(64,128));

				vector<float> descriptors;//HOG描述子向量
				hog.compute(src,descriptors,Size(8,8));//計算HOG描述子，檢測視窗移動步長(8,8)
				//cout<<"描述子維數："<<descriptors.size()<<endl;

				//將計算好的HOG描述子複製到樣本特徵矩陣sampleFeatureMat
				for(int i=0; i<DescriptorDim; i++)
					sampleFeatureMat.at<float>(num+PosSamNO+NegSamNO,i) = descriptors[i];//第PosSamNO+num個樣本的特徵向量中的第i個元素
				sampleLabelMat.at<float>(num+PosSamNO+NegSamNO,0) = -1;//負樣本類別為-1，無人
			}
		}

		////輸出樣本的HOG特徵向量矩陣到檔案
		//ofstream fout("SampleFeatureMat.txt");
		//for(int i=0; i<PosSamNO+NegSamNO; i++)
		//{
		//	fout<<i<<endl;
		//	for(int j=0; j<DescriptorDim; j++)
		//		fout<<sampleFeatureMat.at<float>(i,j)<<"  ";
		//	fout<<endl;
		//}

		//訓練SVM分類器
		//迭代終止條件，當迭代滿1000次或誤差小於FLT_EPSILON時停止迭代
		CvTermCriteria criteria = cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, FLT_EPSILON);
		//SVM引數：SVM型別為C_SVC；線性核函式；鬆弛因子C=0.01
		CvSVMParams param(CvSVM::C_SVC, CvSVM::LINEAR, 0, 1, 0, 0.01, 0, 0, 0, criteria);
		cout<<"開始訓練SVM分類器"<<endl;
		svm.train(sampleFeatureMat, sampleLabelMat, Mat(), Mat(), param);//訓練分類器
		cout<<"訓練完成"<<endl;
		svm.save("SVM_HOG.xml");//將訓練好的SVM模型儲存為xml檔案

	}
	else //若TRAIN為false，從XML檔案讀取訓練好的分類器
	{
		svm.load("SVM_HOG_2400PosINRIA_12000Neg_HardExample(誤報少了漏檢多了).xml");//從XML檔案讀取訓練好的SVM模型
	}


	/*************************************************************************************************
	線性SVM訓練完成後得到的XML檔案裡面，有一個陣列，叫做support vector，還有一個陣列，叫做alpha,有一個浮點數，叫做rho;
	將alpha矩陣同support vector相乘，注意，alpha*supportVector,將得到一個列向量。之後，再該列向量的最後新增一個元素rho。
	如此，變得到了一個分類器，利用該分類器，直接替換opencv中行人檢測預設的那個分類器（cv::HOGDescriptor::setSVMDetector()），
	就可以利用你的訓練樣本訓練出來的分類器進行行人檢測了。
	***************************************************************************************************/
	DescriptorDim = svm.get_var_count();//特徵向量的維數，即HOG描述子的維數
	int supportVectorNum = svm.get_support_vector_count();//支援向量的個數
	cout<<"支援向量個數："<<supportVectorNum<<endl;

	Mat alphaMat = Mat::zeros(1, supportVectorNum, CV_32FC1);//alpha向量，長度等於支援向量個數
	Mat supportVectorMat = Mat::zeros(supportVectorNum, DescriptorDim, CV_32FC1);//支援向量矩陣
	Mat resultMat = Mat::zeros(1, DescriptorDim, CV_32FC1);//alpha向量乘以支援向量矩陣的結果

	//將支援向量的資料複製到supportVectorMat矩陣中
	for(int i=0; i<supportVectorNum; i++)
	{
		const float * pSVData = svm.get_support_vector(i);//返回第i個支援向量的資料指標
		for(int j=0; j<DescriptorDim; j++)
		{
			//cout<<pData[j]<<" ";
			supportVectorMat.at<float>(i,j) = pSVData[j];
		}
	}

	//將alpha向量的資料複製到alphaMat中
	double * pAlphaData = svm.get_alpha_vector();//返回SVM的決策函式中的alpha向量
	for(int i=0; i<supportVectorNum; i++)
	{
		alphaMat.at<float>(0,i) = pAlphaData[i];
	}

	//計算-(alphaMat * supportVectorMat),結果放到resultMat中
	//gemm(alphaMat, supportVectorMat, -1, 0, 1, resultMat);//不知道為什麼加負號？
	resultMat = -1 * alphaMat * supportVectorMat;

	//得到最終的setSVMDetector(const vector<float>& detector)引數中可用的檢測子
	vector<float> myDetector;
	//將resultMat中的資料複製到陣列myDetector中
	for(int i=0; i<DescriptorDim; i++)
	{
		myDetector.push_back(resultMat.at<float>(0,i));
	}
	//最後新增偏移量rho，得到檢測子
	myDetector.push_back(svm.get_rho());
	cout<<"檢測子維數："<<myDetector.size()<<endl;
	//設定HOGDescriptor的檢測子
	HOGDescriptor myHOG;
	myHOG.setSVMDetector(myDetector);
	//myHOG.setSVMDetector(HOGDescriptor::getDefaultPeopleDetector());

	//儲存檢測子引數到檔案
	ofstream fout("HOGDetectorForOpenCV.txt");
	for(int i=0; i<myDetector.size(); i++)
	{
		fout<<myDetector[i]<<endl;
	}


	/**************讀入圖片進行HOG行人檢測******************/
	//Mat src = imread("00000.jpg");
	//Mat src = imread("2007_000423.jpg");
	Mat src = imread("1.png");
	vector<Rect> found, found_filtered;//矩形框陣列
	cout<<"進行多尺度HOG人體檢測"<<endl;
	myHOG.detectMultiScale(src, found, 0, Size(8,8), Size(32,32), 1.05, 2);//對圖片進行多尺度行人檢測
	cout<<"找到的矩形框個數："<<found.size()<<endl;

	//找出所有沒有巢狀的矩形框r,並放入found_filtered中,如果有巢狀的話,則取外面最大的那個矩形框放入found_filtered中
	for(int i=0; i < found.size(); i++)
	{
		Rect r = found[i];
		int j=0;
		for(; j < found.size(); j++)
			if(j != i && (r & found[j]) == r)
				break;
		if( j == found.size())
			found_filtered.push_back(r);
	}

	//畫矩形框，因為hog檢測出的矩形框比實際人體框要稍微大些,所以這裡需要做一些調整
	for(int i=0; i<found_filtered.size(); i++)
	{
		Rect r = found_filtered[i];
		r.x += cvRound(r.width*0.1);
		r.width = cvRound(r.width*0.8);
		r.y += cvRound(r.height*0.07);
		r.height = cvRound(r.height*0.8);
		rectangle(src, r.tl(), r.br(), Scalar(0,255,0), 3);
	}

	imwrite("ImgProcessed.jpg",src);
	namedWindow("src",0);
	imshow("src",src);
	waitKey();//注意：imshow之後必須加waitKey，否則無法顯示影象
	

	/******************讀入單個64*128的測試圖並對其HOG描述子進行分類*********************/
	////讀取測試圖片(64*128大小)，並計算其HOG描述子
	////Mat testImg = imread("person014142.jpg");
	//Mat testImg = imread("noperson000026.jpg");
	//vector<float> descriptor;
	//hog.compute(testImg,descriptor,Size(8,8));//計算HOG描述子，檢測視窗移動步長(8,8)
	//Mat testFeatureMat = Mat::zeros(1,3780,CV_32FC1);//測試樣本的特徵向量矩陣
	////將計算好的HOG描述子複製到testFeatureMat矩陣中
	//for(int i=0; i<descriptor.size(); i++)
	//	testFeatureMat.at<float>(0,i) = descriptor[i];

	////用訓練好的SVM分類器對測試圖片的特徵向量進行分類
	//int result = svm.predict(testFeatureMat);//返回類標
	//cout<<"分類結果："<<result<<endl;



	system("pause");
}


結果：

(1) 1500個INRIA正樣本，2000個負樣本，結果誤報太多：




(2) 2400個INRIA正樣本，12000個負樣本，結果表明負樣本增多後誤報明顯減少，但依然有不少誤報：




(3)2400個INRIA正樣本，12000個負樣本 + 4435個用(2)中的分類器在負樣本原圖上檢測出來的Hard Example，

結果誤報明顯減少，幾乎沒有誤報了，但同時漏檢率增加：






上圖中的兩個小女孩都沒有被檢測出來


(4)下面是OpenCV中HOG檢測器的預設SVM引數的結果，OpenCV自帶的SVM引數也是用INRIA資料集訓練得到的：




上圖中的兩個小女孩用OpenCV預設SVM引數也檢測不出來。


所以感覺要想效果好的話，還應該加大正樣本的個數。


參考：http://blog.csdn.net/carson2005/article/details/7841443

自己訓練SVM分類器進行HOG行人檢測


原始碼下載，環境為VS2010 + OpenCV2.4.4

http://download.csdn.net/detail/masikkk/6547973


1500個INRIA正樣本，2000個負樣本訓練好的SVM下載(XML檔案)：http://pan.baidu.com/s/18CCos

2400個INRIA正樣本，12000個負樣本訓練好的SVM下載(XML檔案)：http://pan.baidu.com/s/1gmudL

2400個INRIA正樣本，12000個負樣本 + 4435個用(2)中的分類器在負樣本原圖上檢測出來的Hard Example 訓練好的SVM下載(XML檔案)：http://pan.baidu.com/s/126Yoc


相關文章