深度學習基礎系列（一）| 一文看懂用kersa構建模型的各層含義（掌握

　我們在學習成熟網路模型時，如VGG、Inception、Resnet等，往往面臨的第一個問題便是這些模型的各層引數是如何設定的呢？另外，我們如果要設計自己的網路模型時，又該如何設定各層引數呢？如果模型引數設定出錯的話，其實模型也往往不能執行了。

　　所以，我們需要首先了解模型各層的含義，比如輸出尺寸和可訓練引數數量。理解後，大家在設計自己的網路模型時，就可以先在紙上畫出網路流程圖，設定各引數，計算輸出尺寸和可訓練引數數量，最後就可以照此進行編碼實現了。

　　而在keras中，當我們構建模型或拿到一個成熟模型後，往往可以透過model.summary()來觀察模型各層的資訊。

　　本文將透過一個簡單的例子來進行說明。本例以keras官網的一個簡單模型為基礎，稍加改動程式碼如下：

from tensorflow import kerasfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense, Dropout, Flattenfrom tensorflow.keras.layers import Conv2D, MaxPool2D


(train_data, train_labels), (test_data, test_labels) = keras.datasets.mnist.load_data()
train_data = train_data.reshape(-1, 28, 28, 1)print("train data type:{}, shape:{}, dim:{}".format(type(train_data), train_data.shape, train_data.ndim))
# 第一組
model = Sequential()
model.add(Conv2D(filters=32, kernel_size=(3, 3), strides=(1, 1), padding='valid', activation='relu', input_shape=(28, 28, 1)))
model.add(Conv2D(filters=32, kernel_size=(3, 3), strides=(1, 1), padding='valid', activation='relu'))
model.add(MaxPool2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
# 第二組
model.add(Conv2D(filters=64, kernel_size=(3, 3), strides=(1, 1), padding='valid', activation='relu'))
model.add(Conv2D(filters=64, kernel_size=(3, 3), strides=(1, 1), padding='valid', activation='relu'))
model.add(MaxPool2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
# 第三組
model.add(Flatten())
model.add(Dense(units=256, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(units=10, activation='softmax'))

model.summary()

　　本例的資料來源於mnist，這是尺寸為28*28，通道數為1，也即只有黑白兩色的圖片。其中卷積層的引數含義為：

• 　　filters：表示過濾器的數量，每一個過濾器都會與對應的輸入層進行卷積操作；

• 　　kernel_size：表示過濾器的尺寸，一般為奇數值，如1,3,5，這裡設定為3*3大小；

• 　　strides：表示步長，即每一次過濾器在圖片上移動的步數；

• 　　padding：表示是否對圖片邊緣填充畫素，一般有兩個值可選，一是預設的valid，表示不填充畫素，卷積後圖片尺寸會變小；另一種是same，填充畫素，使得輸出尺寸和輸入尺寸保持一致。

　　　　   如果選擇valid，假設輸入尺寸為n * n，過濾器的大小為f * f，步長為s，則其輸出圖片的尺寸公式為：[(n - f)/s + 1] * [(n -f)/s + 1)]，若計算結果不為整數，則向下取整；

　　　　  如果選擇same，假設輸入尺寸為n * n，過濾器的大小為f * f，要填充的邊緣畫素寬度為p，則計算p的公式為：n + 2p -f  +1 = n， 最後得 p = (f -1) /2。

　　執行上述例子，可以看到如下結果：

train data type:, shape:(60000, 28, 28, 1), dim:4
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (None, 26, 26, 32)        320       
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 24, 24, 32)        9248      
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 12, 12, 32)        0         
_________________________________________________________________
dropout (Dropout)            (None, 12, 12, 32)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 10, 10, 64)        18496     
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 8, 8, 64)          36928     
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 4, 4, 64)          0         
_________________________________________________________________
dropout_1 (Dropout)          (None, 4, 4, 64)          0         
_________________________________________________________________
flatten (Flatten)            (None, 1024)              0         
_________________________________________________________________
dense (Dense)                (None, 256)               262400    
_________________________________________________________________
dropout_2 (Dropout)          (None, 256)               0         
_________________________________________________________________
dense_1 (Dense)              (None, 10)                2570      
=================================================================
Total params: 329,962
Trainable params: 329,962
Non-trainable params: 0

　　讓我們解讀下，首先mnist為輸入資料，尺寸大小為 (60000, 28, 28, 1)， 這是典型的NHWC結構，即（圖片數量，寬度，高度，通道數）；

　　其次我們需要關注表格中的"output shape"輸出尺寸，其遵循mnist一樣的結構，只不過第一位往往是None，表示圖片數待定，後三位則按照上述規則進行計算；

　　最後關注的是"param"可訓練引數數量，不同的模型層計算方法不一樣：

• 　　對於卷積層而言，假設過濾器尺寸為f * f， 過濾器數量為n， 若開啟了bias，則bias數固定為1，輸入圖片的通道數為c，則param計算公式= (f * f * c + 1) * n；

• 　　對於池化層、flatten、dropout操作而言，是不需要訓練引數的，所以param為0；

• 　　對於全連線層而言，假設輸入的列向量大小為i，輸出的列向量大小為o，若開啟bias，則param計算公式為=i * o + o

　　按照程式碼中劃分的三組模型層次，其輸出尺寸和可訓練引數數量的計算方法可如下圖所示：

　　第一組：

　　第二組：

　　第三組：

　　

　　至此，模型各層的含義和相關計算方法已介紹完畢，希望此文能幫助大家更好地理解模型的構成和相關計算。

原文出處：https://www.cnblogs.com/hutao722/p/9618426.html