深度學習 Caffe 初始化流程理解（資料流建立）

賈瀾鵬發表於2019-05-06
深度學習

之前在簡書的文章，搬遷過來 ^-^
本文是作者原創，如有理解錯誤，懇請大家指出，如需引用，請註明出處。

#Caffe FeatureMap資料流的建立 ##用語解釋

  • FeatureMap: 輸入的圖片資訊或者經過多層處理後的圖片資訊。
  • weights: 只針對卷積層存在的權重係數。
  • caffe :文中提到的caffe均指caffed1.0,如果使用caffe2.0會特別指出。

在講解FeatureMap的資料流之前，首先需要明確一下caffe的大體結構，caffe的整體邏輯結構分為3層，分別是Net,Layer和Blob，分別的作用如下：

  • Net: 該層處於CAFFE的最頂層，主要負責對模型檔案的讀寫，根據模型檔案的內容建立相應的Layer，填充對應層的資料並進行相關的呼叫。
  • Layer: 該層是實際的執行單元，常見的如卷積層，Pooling層都是處於這一邏輯層。
  • Blob:該層是一個記憶體管理的模組，為Layer和Net提供相應的儲存空間，遮蔽上層對於記憶體分配，CPU,GPU切換的感知。

由上面的講解分層關係不難看出，FeatureMap在整個Caffe框架中，不屬於任何一個Layer，所以它被最頂層的Net層所持有。Net層就需要能夠通過caffe的模型檔案推倒出每一層所依賴的輸入，這樣才能構建出一個完整的資料鏈。在這種需求下Caffe引入了兩個定義：

  • bottom: Layer的輸入資料。
  • top: Layer的輸出資料。 具體的形式如下圖（單輸入和多輸入的情形）：

stream_format.jpg

所以Net在呼叫Layer之前就一定知道了Layer的所需要的輸入資料，也就是需要Net層所持有的Blob變數需要被那些層所引用。這些在模型檔案中也有直觀的反應(為了方便截圖，刪除了下圖proto中關於Convlution的引數配置)：

proto_example.jpg

上述的工作都在Net的Init(void Net::Init(const NetParameter& in_param))函式裡面進行了處理，主要實現的就是根據上圖左側的模型檔案得到需要建立的Layer的型別，並將各個Layer間的資料連結起來。函式中的關鍵引數如下：

名稱 功能
in_param 存放由protobuf轉換出的模型檔案
bottom_vecs_ 存放每一層中的輸入資料型別為：vector<vector<Blob*> >
top_vecs_ 存放每一層中的輸出資料型別為：vector<vector<Blob*> >
available_blobs 存放每一層中的輸出資料型別為：vector<vector<Blob*> >

##常規的資料鏈建立流程是（單輸入單輸出的場景）：

  1. 連結本層的bottom資料（ int Net::AppendBottom(const NetParameter& param, const int layer_id, const int bottom_id, set<string>* available_blobs, map<string, int>* blob_name_to_idx) ）,該函式會使用從當前layer持有的bottom資訊中得到對應bottom的層名，然後利用該名稱找到對應的blob，並加入到bottom_vecs_。

  2. 連結本層的top資料（void Net::AppendTop(const NetParameter& param, const int layer_id,const int top_id, set<string>* available_blobs, map<string, int>* blob_name_to_idx)）,該操作就是將本層的輸出資料加入到top_vecs_中，並與 layer_id相關聯，這裡同時負責Blob物件的申請。 需要指出的是，新的Blob物件是在top中進行建立的，在Bottom中只是將上一層top的指標新增進來，同時在這個過程中CAFFE還利用available_blobs進行了異常校驗，在每次新加入top的時候記錄對應的Blob名稱，在bottom中連結上一層top之後，在available_blobs中將對應的Blob名稱剔除。相關虛擬碼如下：

     for (int layer_id = 0; layer_id < param.layer_size(); ++layer_id) {
 	AppendBottom（）;
 	AppendTop（）;
 }
複製程式碼

##多輸入的資料鏈的建立： 細心的同學應該已經發現，當資料為多bottom輸入的時候，因為available_blobs的資料被上一次的連結過程刪掉，則再次連結相同bottom的時候，會出先異常告警，在這種情況下我們就要引入CAFFE的另外一處理函式 void InsertSplits(const NetParameter& param, NetParameter* param_split)，該函式的主要功能就是對 top輸出到多個 Layer的情況進行分割。 整個函式分為兩個部分：

  1. 遍歷整個網路，記錄每一個Layer的top的使用情況，記錄結構放在 top_idx_to_bottom_count中。

  2. 遍歷整個網路，對 top_idx_to_bottom_count > 1 的情況進行處理: a. 首先是對top被多個層使用的Layer進行分割，主要的做法是在該層的後面新建一個Layer ，這個新的Layer的會按照 top_idx_to_bottom_count 的個數和約定的分割名稱（SplitBlobName）去新建top，新增層的程式碼如下（此處只展示核心的建立過程，具體呼叫流程請自行跟蹤）：

     //該函式執行新層的新增
 void ConfigureSplitLayer(const string& layer_name, const string& blob_name,
     const int blob_idx, const int split_count, const float loss_weight,
     LayerParameter* split_layer_param) {
   split_layer_param->Clear();
   split_layer_param->add_bottom(blob_name);
   split_layer_param->set_name(SplitLayerName(layer_name, blob_name, blob_idx));
   split_layer_param->set_type("Split");
   for (int k = 0; k < split_count; ++k) {//split_count就是該top被引用的個數
 	//新增了分割後的top
 	//命名由SplitBlobName生成		    
 	split_layer_param->add_top(
         SplitBlobName(layer_name, blob_name, blob_idx, k));
     if (loss_weight) {
       if (k == 0) {
         split_layer_param->add_loss_weight(loss_weight);
       } else {
         split_layer_param->add_loss_weight(0);
       }
     }
   }
 }
複製程式碼

    b. 之後，是對使用同一個top的後續層的bottom的blob進行改名，使用與上一步相同的命名規則進行改名。

下面以SqueezeNet1.1為例，展示了新增新的分割層的例項：

![Upload new_split_layer.jpg failed. Please try again.]

通過這樣一個分割的轉化，達到了對多輸入資料流的建立。

##遺留問題 上面講的是在初始化階段對FeatureMap資料的連結關係的建立，但是對於weights的填充和初始圖片的輸入並沒有進行分析。

相關文章