Caffe 深度學習框架上手教程

【原文：http://www.open-open.com/lib/view/open1421995285109.html】

Caffe是一個清晰而高效的深度學習框架，本文詳細介紹了caffe的優勢、架構，網路定義、各層定義，Caffe的安裝與配置，解讀了Caffe實現的影象分類模型AlexNet，並演示了CIFAR-10在caffe上進行訓練與學習。

Caffe是一個清晰而高效的深度學習框架，其作者是博士畢業於UC Berkeley的 賈揚清，目前在Google工作。

Caffe是純粹的C++/CUDA架構，支援命令列、Python和MATLAB介面；可以在CPU和GPU直接無縫切換：

Caffe的優勢

1. 上手快：模型與相應優化都是以文字形式而非程式碼形式給出。 
   Caffe給出了模型的定義、最優化設定以及預訓練的權重，方便立即上手。
2. 速度快：能夠執行最棒的模型與海量的資料。 
   Caffe與cuDNN結合使用，測試AlexNet模型，在K40上處理每張圖片只需要1.17ms.
3. 模組化：方便擴充套件到新的任務和設定上。 
   可以使用Caffe提供的各層型別來定義自己的模型。
4. 開放性：公開的程式碼和參考模型用於再現。
5. 社群好：可以通過BSD-2參與開發與討論。

Caffe的網路定義

Caffe中的網路都是有向無環圖的集合，可以直接定義： 

資料及其導數以blobs的形式在層間流動。

Caffe的各層定義

Caffe層的定義由2部分組成：層屬性與層引數，例如 這段配置檔案的前4行是層屬性，定義了層名稱、層型別以及層連線結構（輸入blob和輸出blob）；而後半部分是各種層引數。 

Blob

Blob是用以儲存資料的4維陣列，例如

• 對於資料：Number*Channel*Height*Width
• 對於卷積權重：Output*Input*Height*Width
• 對於卷積偏置：Output*1*1*1

訓練網路

網路引數的定義也非常方便，可以隨意設定相應引數。

甚至呼叫GPU運算只需要寫一句話：

 

Caffe的安裝與配置

Caffe需要預先安裝一些依賴項，首先是CUDA驅動。不論是CentOS還是Ubuntu都預裝了開源的nouveau顯示卡驅動（SUSE沒有這種問題），如果不禁用，則CUDA驅動不能正確安裝。以Ubuntu為例，介紹一下這裡的處理方法，當然也有其他處理方法。

生成mnist-train-leveldb/ 和 mnist-test-leveldb/，把資料轉化成leveldb格式：

訓練網路:

安裝了CUDA之後，依次按照Caffe官網安裝指南安裝BLAS、OpenCV、Boost即可。

Caffe跑跑MNIST試試

在Caffe安裝目錄之下，首先獲得MNIST資料集：

生成mnist-train-leveldb/ 和 mnist-test-leveldb/，把資料轉化成leveldb格式：

訓練網路:

 

讓Caffe生成的資料集能在Theano上直接執行

不論使用何種框架進行CNNs訓練，共有3種資料集：

• Training Set：用於訓練網路
• Validation Set：用於訓練時測試網路準確率
• Test Set：用於測試網路訓練完成後的最終正確率

Caffe生成的資料分為2種格式：Lmdb和Leveldb

• 它們都是鍵/值對（Key/Value Pair）嵌入式資料庫管理系統程式設計庫。
• 雖然lmdb的記憶體消耗是leveldb的1.1倍，但是lmdb的速度比leveldb快10%至15%，更重要的是lmdb允許多種訓練模型同時讀取同一組資料集。
• 因此lmdb取代了leveldb成為Caffe預設的資料集生成格式。

Google Protocol Buffer的安裝

Protocol Buffer是一種類似於XML的用於序列化資料的自動機制。 
首先在Protocol Buffers的中下載最新版本： 
https://developers.google.com/protocol-buffers/docs/downloads 
解壓後執行：

新增動態連結庫

Lmdb的安裝

要parse（解析）一個protobuf型別資料，首先要告訴計算機你這個protobuf資料內部是什麼格式（有哪些項，這些項各是什 麼資料型別的決定了佔用多少位元組，這些項可否重複，重複幾次），安裝protobuf這個module就可以用protobuf專用的語法來定義這些格式 （這個是.proto檔案）了，然後用protoc來編譯這個.proto檔案就可以生成你需要的目標檔案。 
想要定義自己的.proto檔案請閱讀： 
https://developers.google.com/protocol-buffers/docs/proto?hl=zh-cn

編譯.proto檔案

Caffe (CNN, deep learning) 介紹

Caffe -----------Convolution Architecture For Feature Embedding (Extraction)

1. Caffe 是什麼東東？
   • CNN (Deep Learning) 工具箱
   • C++ 語言架構
   • CPU 和GPU 無縫交換
   • Python 和matlab的封裝
   • 但是，Decaf只是CPU 版本。

2. 為什麼要用Caffe？

   • 運算速度快。簡單 友好的架構 用到的一些庫：
   • Google Logging library (Glog): 一個C++語言的應用級日誌記錄框架，提供了C++風格的流操作和各種助手巨集.
   • lebeldb(資料儲存)： 是一個google實現的非常高效的kv資料庫，單程式操作。
   • CBLAS library（CPU版本的矩陣操作）
   • CUBLAS library (GPU 版本的矩陣操作)

3. Caffe 架構

 

1. 預處理影象的leveldb構建 
   輸入：一批影象和label （2和3） 
   輸出：leveldb （4） 
   指令裡包含如下資訊：
   • conver_imageset （構建leveldb的可執行程式）
   • train/ （此目錄放處理的jpg或者其他格式的影象)
   • label.txt (影象檔名及其label資訊)
   • 輸出的leveldb資料夾的名字
   • CPU/GPU (指定是在cpu上還是在gpu上執行code)

2. CNN網路配置檔案

   • Imagenet_solver.prototxt （包含全域性引數的配置的檔案）
   • Imagenet.prototxt （包含訓練網路的配置的檔案）
   • Imagenet_val.prototxt （包含測試網路的配置檔案）

Caffe深度學習之影象分類模型AlexNet解讀

在imagenet上的影象分類challenge上Alex提出的alexnet網路結構模型贏得了2012屆的冠軍。要研究CNN型別DL網路模型在影象分類上的應用，就逃不開研究alexnet，這是CNN在影象分類上的經典模型（DL火起來之後）。

在DL開源實現caffe的model樣例中，它也給出了alexnet的復現，具體網路配置檔案如下 train_val.prototxt

接下來本文將一步步對該網路配置結構中各個層進行詳細的解讀（訓練階段）：

各種layer的operation更多解釋可以參考 Caffe Layer Catalogue

從計算該模型的資料流過程中，該模型引數大概5kw+。

1. conv1階段DFD（data flow diagram）： 

2. conv2階段DFD（data flow diagram）： 

3. conv3階段DFD（data flow diagram）：

   
   

   

4. conv4階段DFD（data flow diagram）： 
       

5. conv5階段DFD（data flow diagram）： 
   

6. fc6階段DFD（data flow diagram）： 
   

7. fc7階段DFD（data flow diagram）： 
                

8. fc8階段DFD（data flow diagram）： 
                

caffe的輸出中也有包含這塊的內容日誌，詳情如下： 

CIFAR-10在caffe上進行訓練與學習

使用資料庫：CIFAR-10

60000張 32X32 彩色影象 10類，50000張訓練，10000張測試

準備

在終端執行以下指令：

其中CAFFE_ROOT是caffe-master在你機子的地址

執行之後，將會在examples中出現資料庫檔案./cifar10-leveldb和資料庫影象均值二進位制檔案./mean.binaryproto

模型

該CNN由卷積層，POOLing層，非線性變換層，在頂端的區域性對比歸一化線性分類器組成。該模型的定義在CAFFE_ROOT/examples/cifar10 directory’s cifar10_quick_train.prototxt中，可以進行修改。其實字尾為prototxt很多都是用來修改配置的。

訓練和測試

訓練這個模型非常簡單，當我們寫好引數設定的檔案cifar10_quick_solver.prototxt和定義的文 件cifar10_quick_train.prototxt和cifar10_quick_test.prototxt後，執行 train_quick.sh或者在終端輸入下面的命令：

即可，train_quick.sh是一個簡單的指令碼，會把執行的資訊顯示出來，培訓的工具是train_net.bin,cifar10_quick_solver.prototxt作為引數。

然後出現類似以下的資訊：這是搭建模型的相關資訊

接著：

之後，訓練開始

其中每100次迭代次數顯示一次訓練時lr(learningrate),和loss（訓練損失函式），每500次測試一次，輸出score 0（準確率）和score 1（測試損失函式）

當5000次迭代之後，正確率約為75%，模型的引數儲存在二進位制protobuf格式在cifar10_quick_iter_5000

然後，這個模型就可以用來執行在新資料上了。

其他

另外，更改cifar*solver.prototxt檔案可以使用CPU訓練，

可以看看CPU和GPU訓練的差別。