「深度學習系列」CNN模型的視覺化

前面幾篇文章講到了卷積神經網路CNN，但是對於它在每一層提取到的特徵以及訓練的過程可能還是不太明白，所以這節主要透過模型的視覺化來神經網路在每一層中是如何訓練的。我們知道，神經網路本身包含了一系列特徵提取器，理想的feature map應該是稀疏的以及包含典型的區域性資訊。透過模型視覺化能有一些直觀的認識並幫助我們除錯模型，比如：feature map與原圖很接近，說明它沒有學到什麼特徵；或者它幾乎是一個純色的圖，說明它太過稀疏，可能是我們feature map數太多了（feature_map數太多也反映了卷積核太小）。視覺化有很多種，比如：feature map視覺化、權重視覺化等等，我以feature map視覺化為例。

---

模型視覺化

因為我沒有搜到用paddlepaddle在imagenet 1000分類的資料集上預訓練好的googLeNet inception v3，所以用了keras做實驗，以下圖作為輸入:

• 輸入圖片
• 北汽紳寶D50:

• feature map視覺化

取網路的前15層，每層取前3個feature map。

北汽紳寶D50 feature map：

從左往右看，可以看到整個特徵提取的過程，有的分離背景、有的提取輪廓，有的提取色差，但也能發現10、11層中間兩個feature map是純色的，可能這一層feature map數有點多了，另外北汽紳寶D50的光暈對feature map中光暈的影響也能比較明顯看到。

• Hypercolumns
• 通常我們把神經網路最後一個fc全連線層作為整個圖片的特徵表示，但是這一表示可能過於粗糙（從上面的feature map視覺化也能看出來），沒法精確描述區域性空間上的特徵，而網路的第一層空間特徵又太過精確，缺乏語義資訊（比如後面的色差、輪廓等），於是論文《Hypercolumns for Object Segmentation and Fine-grained Localization》提出一種新的特徵表示方法：Hypercolumns——將一個畫素的 hypercolumn 定義為所有 cnn 單元對應該畫素位置的啟用輸出值組成的向量），比較好的tradeoff了前面兩個問題，直觀地看如圖：

把北汽紳寶D50 第1、4、7層的feature map以及第1, 4, 7, 10, 11, 14, 17層的feature map分別做平均，視覺化如下：

---

程式碼實踐

 1 # -*- coding: utf-8 -*-

 2 from keras.applications import InceptionV3

 3 from keras.applications.inception_v3 import preprocess_input

 4 from keras.preprocessing import image

 5 from keras.models import Model

 6 from keras.applications.imagenet_utils import decode_predictions

 7 import numpy as np

 8 import cv2

 9 from cv2 import *

 10 import matplotlib.pyplot as plt

 11 import scipy as sp

 12 from scipy.misc import toimage

 13 

 14 def test_opencv():

 15 # 載入攝像頭

 16 cam = VideoCapture(0) # 0 -> 攝像頭序號，如果有兩個三個四個攝像頭，要呼叫哪一個數字往上加嘛

 17 # 抓拍 5 張小圖片

 18 for x in range(0, 5):

 19 s, img = cam.read()

 20 if s:

 21 imwrite("o-" + str(x) + ".jpg", img)

 22 

 23 def load_original(img_path):

 24 # 把原始圖片壓縮為 299*299大小

 25 im_original = cv2.resize(cv2.imread(img_path), (299, 299))

 26 im_converted = cv2.cvtColor(im_original, cv2.COLOR_BGR2RGB)

 27 plt.figure(0)

 28 plt.subplot(211)

 29 plt.imshow(im_converted)

 30 return im_original

 31 

 32 def load_fine_tune_googlenet_v3(img):

 33 # 載入fine-tuning googlenet v3模型，並做預測

 34 model = InceptionV3(include_top=True, weights='imagenet')

 35 model.summary()

 36 x = image.img_to_array(img)

 37 x = np.expand_dims(x, axis=0)

 38 x = preprocess_input(x)

 39 preds = model.predict(x)

 40 print('Predicted:', decode_predictions(preds))

 41 plt.subplot(212)

 42 plt.plot(preds.ravel())

 43 plt.show()

 44 return model, x

 45 

 46 def extract_features(ins, layer_id, filters, layer_num):

 47 '''

 48 提取指定模型指定層指定數目的feature map並輸出到一幅圖上.

 49 :param ins: 模型例項

 50 :param layer_id: 提取指定層特徵

 51 :param filters: 每層提取的feature map數

 52 :param layer_num: 一共提取多少層feature map

 53 :return: None

 54 '''

 55 if len(ins) != 2:

 56 print('parameter error:(model, instance)')

 57 return None

 58 model = ins[0]

 59 x = ins[1]

 60 if type(layer_id) == type(1):

 61 model_extractfeatures = Model(input=model.input, output=model.get_layer(index=layer_id).output)

 62 else:

 63 model_extractfeatures = Model(input=model.input, output=model.get_layer(name=layer_id).output)

 64 fc2_features = model_extractfeatures.predict(x)

 65 if filters > len(fc2_features[0][0][0]):

 66 print('layer number error.', len(fc2_features[0][0][0]),',',filters)

 67 return None

 68 for i in range(filters):

 69 plt.subplots_adjust(left=0, right=1, bottom=0, top=1)

 70 plt.subplot(filters, layer_num, layer_id + 1 + i * layer_num)

 71 plt.axis("off")

 72 if i < len(fc2_features[0][0][0]):

 73 plt.imshow(fc2_features[0, :, :, i])

 74 

 75 # 層數、模型、卷積核數

 76 def extract_features_batch(layer_num, model, filters):

 77 '''

 78 批次提取特徵

 79 :param layer_num: 層數

 80 :param model: 模型

 81 :param filters: feature map數

 82 :return: None

 83 '''

 84 plt.figure(figsize=(filters, layer_num))

 85 plt.subplot(filters, layer_num, 1)

 86 for i in range(layer_num):

 87 extract_features(model, i, filters, layer_num)

 88 plt.savefig('sample.jpg')

 89 plt.show()

 90 

 91 def extract_features_with_layers(layers_extract):

 92 '''

 93 提取hypercolumn並視覺化.

 94 :param layers_extract: 指定層列表

 95 :return: None

 96 '''

 97 hc = extract_hypercolumn(x[0], layers_extract, x[1])

 98 ave = np.average(hc.transpose(1, 2, 0), axis=2)

 99 plt.imshow(ave)

100 plt.show()

101 

102 def extract_hypercolumn(model, layer_indexes, instance):

103 '''

104 提取指定模型指定層的hypercolumn向量

105 :param model: 模型

106 :param layer_indexes: 層id

107 :param instance: 模型

108 :return:

109 '''

110 feature_maps = []

111 for i in layer_indexes:

112 feature_maps.append(Model(input=model.input, output=model.get_layer(index=i).output).predict(instance))

113 hypercolumns = []

114 for convmap in feature_maps:

115 for i in convmap[0][0][0]:

116 upscaled = sp.misc.imresize(convmap[0, :, :, i], size=(299, 299), mode="F", interp='bilinear')

117 hypercolumns.append(upscaled)

118 return np.asarray(hypercolumns)

119 

120 if __name__ == '__main__':

121 img_path = '~/auto1.jpg'

122 img = load_original(img_path)

123 x = load_fine_tune_googlenet_v3(img)

124 extract_features_batch(15, x, 3)

125 extract_features_with_layers([1, 4, 7])

126 extract_features_with_layers([1, 4, 7, 10, 11, 14, 17])

---

總結

還有一些網站做的關於CNN的視覺化做的非常不錯，譬如這個網站：，大家可以在訓練的時候採取不同的卷積核尺寸和個數對照來看訓練的中間過程。