2014 GoogLeNet
GoogLeNet有很多版本，包括Inception v1，v2，v3等，後者大多是對v1的改進
Inception v1
（1）Inception v1採用模組化的結構，每一模組以上一模組的輸出作為輸入。對輸入分別進行1×1、3×3、5×5的卷積以及 3×3的max pooling後，將四路分支通過並聯（Concat）融合起來。並且在3×3和5×5的卷積之前，先進行1×1的卷積進行降維，以減少計算複雜度，去除特徵冗餘，並且3×3max pooling後也進行1×1卷積，以提升網路非線性表達能力。
（2）Inception v1使用多種大小的卷積核，意味著多種不同大小的感受野，最後的拼接意味著多尺度特徵的融合，從而提高網路表達能力。
（3）未來防止梯度消失，Inception v1除了在網路最後使用softmax之外，還在中間層使用額外的兩個輔助softmax反傳梯度
（4）網路的最後使用全域性平均池化代替全連線，減少了引數數量
原始版本
改進版本
Inception v2：
（1）在v1的基礎上增加了Batch Normalization
（2）使用兩個3×3卷積代替5×5卷積
Inception v3：
（1）把n×n卷積分解為一個1×n卷積核一個n×1卷積，進一步縮減引數量
（2）輸入影象大小由224×224放大至299×299
Inception v4
(1)研究了 Inception Module 結合 Residual Connection，結合 ResNet 可以極大地加速訓練，同時極大提升效能，在構建 Inception-ResNet 網路同時，還設計了一個更深更優化的 Inception v4 模型，能達到相媲美的效能
GoogLeNet Inception V4網路結構
GoogLeNet Inception ResNet網路結構