# 準備

## 資源準備
登入[滴滴雲](https://blog.didiyun.com)主頁建立 GPU 雲主機。

## 環境準備

1. 使用 SSH 客戶端登入雲主機。
2. 編譯 Darknet：

```
  sudo yum install -y opencv-core.x86_64 opencv-devel.x86_64 opencv.x86_64
  #git clone命令將會在當前目錄下下載原始碼，所以儘量自己選擇一個合適的目錄執行該命令
  git clone https://github.com/pjreddie/darknet.git
  cd darknet
  #修改Makefile，支援GPU， CUDNN， OPENCV，修改後如下：
  #GPU=1
  #CUDNN=1
  #OPENCV=1
  #可以使用vim編輯器進行修改(或者其它你喜歡的方式)
  make -j6
  #-j6引數代表使用6個執行緒同時編譯，6可以替換成你想要的值，也可以直接使用make命令
  #如果執行沒有問題，執行如下命令，檢測下darknet是否已經裝好
  ./darknet
  #如果輸出usage: ./darknet <function>，表示安裝成功
  ```

## 資料準備

1. **YOLOv3 pre-train 模型做預測**

* 首先我們用 YOLOv3 作者提供的 pre-train 模型進行測試，該模型由作者用 COCO 資料集提前訓練好了，可以識別 80 個類，可用如下命令下載：
	
		```
		wget https://pjreddie.com/media/files/yolov3.weights
		```
		yolov3.weights 檔案將會被預設下載到 Darknet 資料夾下。
	* 使用 pre-train 模型測試下 inference 效果：
		```
		./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg
		```
		執行這個命令後，會看到有如下輸出：
		```
		Loading weights from yolov3.weights...Done!
		data/dog.jpg: Predicted in 0.054222 seconds.
		dog: 100%
		truck: 92%
		bicycle: 99%
		```
		
		輸出 log 顯示檢測到三個目標，這三個目標分別為：100% 機率是 dog，92% 機率是 truck， 99% 機率是 bicycle；最終結果圖片儲存為 predictions.png 。
2. **dartnet53.conv.74 模型做訓練**

通常訓練我們都會使用從其他一些網路上訓練好的模型來初始化，這裡我們用 ImageNet 上預訓練好的 dartnet53.conv.74 進行上傳，下載該模型到 Darknet 工程下：
	
	```
	wget https://pjreddie.com/media/files/darknet53.conv.74
	```
	通常想要在別的訓練資料集上訓練 YOLOv3 ( 如 VOC 資料集 )，而不是使用作者在 COCO 資料集預先訓練好的模型 ( .weights 檔案 )，需要使用該模型進行模型初始化。
	
	darknet53.conv.74 檔案將會被預設下載到 Darknet 資料夾下。
3. **資料準備**

* 資料下載
   
      資料可以從 VOC 官網下載，但是官網下載耗時較長；為了減少下載時間，我們在[滴滴雲](https://blog.didiyun.com)內部建立了一個公開的物件儲存 S3，將常用的資料集都儲存在這裡，方便使用者快速下載。
	  
      為了保持檔案的整潔，推薦在 Darknet 資料夾下新建一個名為 dataset 的資料夾，將資料集下載到 dataset 資料夾中：
     ```
     mkdir dataset
     cd dataset
     ```
    * 官網下載

```
      wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
      wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
      wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevkit_08-Jun-2007.tar
      ```
   * 解壓上述三個壓縮包到 VOCdevkit：

```
     tar xvf VOCtrainval_06-Nov-2007.tar
     tar xvf VOCtest_06-Nov-2007.tar
     tar xvf VOCdevkit_08-Jun-2007.tar
     ```
   * 解壓後的資料夾結構如下：

```
     $VOCdevkit/                           # development kit
     $VOCdevkit/VOCcode/                   # VOC utility code
     $VOCdevkit/VOC2007                    # image sets, annotations, etc.
     # ... and several other directories ...
     ```
     使用 tree 命令檢視資料夾結構：
     ```
     tree -L 2
     ```

得到如下結果：
     ```
     .
     ├── VOCdevkit
     │   ├── create_segmentations_from_detections.m
     │   ├── devkit_doc.pdf
     │   ├── example_classifier.m
     │   ├── example_detector.m
     │   ├── example_layout.m
     │   ├── example_segmenter.m
     │   ├── local
     │   ├── results
     │   ├── viewanno.m
     │   ├── viewdet.m
     │   ├── VOC2007
     │   └── VOCcode
     ├── VOCdevkit_08-Jun-2007.tar
     ├── VOCtest_06-Nov-2007.tar
     └── VOCtrainval_06-Nov-2007.tar
    
     5 directories, 11 files
     ```
    * 退出 dataset 資料夾，返回 Darknet 目錄
        
		如果你在 Darknet 下新建了一個dataset，像我推薦的那樣，需要返回 dataset 資料夾的上級目錄，也就是 Darknet 目錄下：
      ```
      cd ..
      ```
      如果你將資料集下載到了你自己指定的資料夾，請確保返回到 Darknet 目錄下再進行下一步。
   * 生成 label 檔案

Darknet 使用 .txt 檔案儲存 label 資訊，而 VOC 是 xml，這裡需要做一個轉換，第一步編譯 Darknet 時 Git 的工程裡有一個 `scripts/voc_label.py` 指令碼就是用來做轉換的。因為我們這裡只用 VOC2007 資料做 Demo，印象需要做對指令碼做一些修改：
    	
     1. 把 scripts 下 `voc_label.py` 指令碼複製到和上一步解壓的 VOCdevkit 資料夾同一個目錄下：
	 
    	 ```
    	  cp scripts/voc_label.py  dataset/
    	 ```
    	 如果你沒有將 VOC2007 資料集儲存在 dataset 目錄下，則將第二個引數改成你自己資料集的路徑：
    	 ```
    	 cp scripts/voc_label.py  VOCdevkit所在的路徑
    	 ```
     2. 修改 `voc_label.py` 指令碼，刪除處理 VOC2012 的程式碼。
    	
    	 進入 `voc_label.py` 所在的資料夾：
    	 ```
    	  cd dataset
    	 ```
    	 修改 `voc_label.py` 檔案：
    	 ```
    	  #第7行修改如下
    	  sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]
    	  #最後兩行修改如下：
    	  os.system("cat 2007_train.txt 2007_val.txt  > train.txt")
    	  os.system("cat 2007_train.txt 2007_val.txt 2007_test.txt > train.all.txt")
    	 ```
     3. 執行該指令碼：
    	 ```
    	  python voc_label.py
    	 ```
    	
    	 執行完會發現在此資料夾下多了幾個檔案，其中包括：
    	 ```
    	  train.txt
    	  train.all.txt
    	 ```
    	這兩個檔案是訓練時候需要的。
   * 返回 Darknet 目錄

如果你將資料集儲存在了 dataset 目錄，則你現在在 dataset 目錄，需要返回 Darknet 目錄下：
    	```      
         cd ..	
    	```
    
      如果你將資料集下載到了你自己指定的資料夾，請確保返回到 Darknet 目錄下再進行下一步。

## 訓練 VOC2007 資料集

1. 配置工程

在開始訓練前，需要做一些配置工作，指定資料位置。
	
	* 進入 Darknet 工程，`cfg/voc.data` 配置檔案如下：
	
		```
		 classes= 20 #總共有20類
		 train  = /home/dc2-user/train.txt. #修改為你自己的目錄，demo裡下載後的資料直接放家目錄下，因此train.txt在家目錄下
		 valid  = /home/dc2-user/2007_test.txt #同上
		 names = data/voc.names
		 backup = backup
		```
		需要被修改的是 train 和 valid 兩項。
2. 開始訓練

```
	 ./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74 -gpus 0   #我們使用GPU進行加速
	```</function>

如何在滴滴雲上用 Darknet 訓練 VOC

相關文章