「深度學習系列」CNN模型的視覺化
前面幾篇文章講到了卷積神經網路CNN,但是對於它在每一層提取到的特徵以及訓練的過程可能還是不太明白,所以這節主要通過模型的視覺化來神經網路在每一層中是如何訓練的。我們知道,神經網路本身包含了一系列特徵提取器,理想的feature map應該是稀疏的以及包含典型的區域性資訊。通過模型視覺化能有一些直觀的認識並幫助我們除錯模型,比如:feature map與原圖很接近,說明它沒有學到什麼特徵;或者它幾乎是一個純色的圖,說明它太過稀疏,可能是我們feature map數太多了(feature_map數太多也反映了卷積核太小)。視覺化有很多種,比如:feature map視覺化、權重視覺化等等,我以feature map視覺化為例。
模型視覺化
因為我沒有搜到用paddlepaddle在imagenet 1000分類的資料集上預訓練好的googLeNet inception v3,所以用了keras做實驗,以下圖作為輸入:
- 輸入圖片
- 北汽紳寶D50:
- feature map視覺化
取網路的前15層,每層取前3個feature map。
北汽紳寶D50 feature map:
從左往右看,可以看到整個特徵提取的過程,有的分離背景、有的提取輪廓,有的提取色差,但也能發現10、11層中間兩個feature map是純色的,可能這一層feature map數有點多了,另外北汽紳寶D50的光暈對feature map中光暈的影響也能比較明顯看到。
- Hypercolumns
- 通常我們把神經網路最後一個fc全連線層作為整個圖片的特徵表示,但是這一表示可能過於粗糙(從上面的feature map視覺化也能看出來),沒法精確描述區域性空間上的特徵,而網路的第一層空間特徵又太過精確,缺乏語義資訊(比如後面的色差、輪廓等),於是論文《Hypercolumns for Object Segmentation and Fine-grained Localization》提出一種新的特徵表示方法:Hypercolumns——將一個畫素的 hypercolumn 定義為所有 cnn 單元對應該畫素位置的啟用輸出值組成的向量),比較好的tradeoff了前面兩個問題,直觀地看如圖:
把北汽紳寶D50 第1、4、7層的feature map以及第1, 4, 7, 10, 11, 14, 17層的feature map分別做平均,視覺化如下:
程式碼實踐
1 # -*- coding: utf-8 -*-
2 from keras.applications import InceptionV3
3 from keras.applications.inception_v3 import preprocess_input
4 from keras.preprocessing import image
5 from keras.models import Model
6 from keras.applications.imagenet_utils import decode_predictions
7 import numpy as np
8 import cv2
9 from cv2 import *
10 import matplotlib.pyplot as plt
11 import scipy as sp
12 from scipy.misc import toimage
13
14 def test_opencv():
15 # 載入攝像頭
16 cam = VideoCapture(0) # 0 -> 攝像頭序號,如果有兩個三個四個攝像頭,要呼叫哪一個數字往上加嘛
17 # 抓拍 5 張小圖片
18 for x in range(0, 5):
19 s, img = cam.read()
20 if s:
21 imwrite("o-" + str(x) + ".jpg", img)
22
23 def load_original(img_path):
24 # 把原始圖片壓縮為 299*299大小
25 im_original = cv2.resize(cv2.imread(img_path), (299, 299))
26 im_converted = cv2.cvtColor(im_original, cv2.COLOR_BGR2RGB)
27 plt.figure(0)
28 plt.subplot(211)
29 plt.imshow(im_converted)
30 return im_original
31
32 def load_fine_tune_googlenet_v3(img):
33 # 載入fine-tuning googlenet v3模型,並做預測
34 model = InceptionV3(include_top=True, weights='imagenet')
35 model.summary()
36 x = image.img_to_array(img)
37 x = np.expand_dims(x, axis=0)
38 x = preprocess_input(x)
39 preds = model.predict(x)
40 print('Predicted:', decode_predictions(preds))
41 plt.subplot(212)
42 plt.plot(preds.ravel())
43 plt.show()
44 return model, x
45
46 def extract_features(ins, layer_id, filters, layer_num):
47 '''
48 提取指定模型指定層指定數目的feature map並輸出到一幅圖上.
49 :param ins: 模型例項
50 :param layer_id: 提取指定層特徵
51 :param filters: 每層提取的feature map數
52 :param layer_num: 一共提取多少層feature map
53 :return: None
54 '''
55 if len(ins) != 2:
56 print('parameter error:(model, instance)')
57 return None
58 model = ins[0]
59 x = ins[1]
60 if type(layer_id) == type(1):
61 model_extractfeatures = Model(input=model.input, output=model.get_layer(index=layer_id).output)
62 else:
63 model_extractfeatures = Model(input=model.input, output=model.get_layer(name=layer_id).output)
64 fc2_features = model_extractfeatures.predict(x)
65 if filters > len(fc2_features[0][0][0]):
66 print('layer number error.', len(fc2_features[0][0][0]),',',filters)
67 return None
68 for i in range(filters):
69 plt.subplots_adjust(left=0, right=1, bottom=0, top=1)
70 plt.subplot(filters, layer_num, layer_id + 1 + i * layer_num)
71 plt.axis("off")
72 if i < len(fc2_features[0][0][0]):
73 plt.imshow(fc2_features[0, :, :, i])
74
75 # 層數、模型、卷積核數
76 def extract_features_batch(layer_num, model, filters):
77 '''
78 批量提取特徵
79 :param layer_num: 層數
80 :param model: 模型
81 :param filters: feature map數
82 :return: None
83 '''
84 plt.figure(figsize=(filters, layer_num))
85 plt.subplot(filters, layer_num, 1)
86 for i in range(layer_num):
87 extract_features(model, i, filters, layer_num)
88 plt.savefig('sample.jpg')
89 plt.show()
90
91 def extract_features_with_layers(layers_extract):
92 '''
93 提取hypercolumn並視覺化.
94 :param layers_extract: 指定層列表
95 :return: None
96 '''
97 hc = extract_hypercolumn(x[0], layers_extract, x[1])
98 ave = np.average(hc.transpose(1, 2, 0), axis=2)
99 plt.imshow(ave)
100 plt.show()
101
102 def extract_hypercolumn(model, layer_indexes, instance):
103 '''
104 提取指定模型指定層的hypercolumn向量
105 :param model: 模型
106 :param layer_indexes: 層id
107 :param instance: 模型
108 :return:
109 '''
110 feature_maps = []
111 for i in layer_indexes:
112 feature_maps.append(Model(input=model.input, output=model.get_layer(index=i).output).predict(instance))
113 hypercolumns = []
114 for convmap in feature_maps:
115 for i in convmap[0][0][0]:
116 upscaled = sp.misc.imresize(convmap[0, :, :, i], size=(299, 299), mode="F", interp='bilinear')
117 hypercolumns.append(upscaled)
118 return np.asarray(hypercolumns)
119
120 if __name__ == '__main__':
121 img_path = '~/auto1.jpg'
122 img = load_original(img_path)
123 x = load_fine_tune_googlenet_v3(img)
124 extract_features_batch(15, x, 3)
125 extract_features_with_layers([1, 4, 7])
126 extract_features_with_layers([1, 4, 7, 10, 11, 14, 17])
總結
還有一些網站做的關於CNN的視覺化做的非常不錯,譬如這個網站:http://shixialiu.com/publications/cnnvis/demo/,大家可以在訓練的時候採取不同的卷積核尺寸和個數對照來看訓練的中間過程。
https://www.toutiao.com/a6725276071358366215/
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946223/viewspace-2655033/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 深度學習(視覺化卷積核)深度學習視覺化卷積
- 深度學習 CNN 和 RNN 等模型簡介深度學習CNNRNN模型
- CNN視覺化技術總結(三)--類視覺化CNN視覺化
- 【深度學習篇】--神經網路中的池化層和CNN架構模型深度學習神經網路CNN架構模型
- 「AI白身境」深度學習中的資料視覺化AI深度學習視覺化
- 計算機視覺中的深度學習計算機視覺深度學習
- 深度學習目標檢測(object detection)系列(一) R-CNN深度學習ObjectCNN
- 視覺語言模型的高效遷移學習視覺模型遷移學習
- 計算機視覺與深度學習公司計算機視覺深度學習
- 科學視覺化軟體系列文章視覺化
- 乾貨|如何利用CNN建立計算機視覺模型?CNN計算機視覺模型
- 深度學習目標檢測(object detection)系列(四) Faster R-CNN深度學習ObjectASTCNN
- 深度學習模型深度學習模型
- [譯]深度學習模型的簡單優化技巧深度學習模型優化
- Django 視覺化Web展示 學習Django視覺化Web
- 視覺化學習:WebGL的基礎使用視覺化Web
- CNN視覺化技術總結(四)--視覺化工具與專案CNN視覺化
- 史丹佛—深度學習和計算機視覺深度學習計算機視覺
- 機器視覺軟體中的深度學習技術視覺深度學習
- 【Tensorflow_DL_Note3】深度學習中的資料處理及其視覺化深度學習視覺化
- 資料視覺化基本原理——視覺化模型視覺化模型
- pytorch訓練簡單的CNN(visdom進行視覺化)PyTorchCNN視覺化
- 學習python視覺化,matplotlib庫學習,基本操作Python視覺化
- 深度學習中的Normalization模型深度學習ORM模型
- 8個計算機視覺深度學習中常見的Bug計算機視覺深度學習
- 深度學習在視覺搜尋和匹配中的應用深度學習視覺
- 【Tensorflow_DL_Note15】TensorFlow視覺化學習2-用Matplotlib視覺化視覺化
- 深度學習中的Lipschitz約束:泛化與生成模型深度學習模型
- 計算機視覺應用:深度學習的力量和侷限性計算機視覺深度學習
- 計算機視覺與深度學習應用關係計算機視覺深度學習
- 深度學習與CV教程(12) | 目標檢測 (兩階段,R-CNN系列)深度學習CNN
- Docker部署深度學習模型Docker深度學習模型
- Matlab學習-視覺化和程式設計Matlab視覺化程式設計
- 視覺學習(三)視覺
- 深度學習及深度強化學習研修深度學習強化學習
- 【Tensorflow_DL_Note16】TensorFlow視覺化學習3_引數,準確率的視覺化視覺化
- 一文讓你入門CNN,附3份深度學習視訊資源CNN深度學習
- Echarts檢視視覺化-學習筆記(努力更新中)Echarts視覺化筆記