CNN使用小卷積核而非大卷積的好處
大尺寸的卷積核可以帶來更大的感受野,但也意味著更多的引數,並且《Rethinking the Inception Architecture for Computer Vision》的作者提出可以用 $2$ 個連續的 $3 imes3$ 卷積層( stride=1
)組成的小網路來代替單個的 $5 imes 5$卷積層可以保持感受野範圍的同時又減少了引數量:
卷積核設定 | 引數個數 |
---|---|
一個 $5 imes 5$ | $5 imes 5+1=26$ |
兩個級聯的 $3 imes 3$ | $(3 imes 3+1) imes 2=20$ |
由於引數個數僅與卷積核大小有關,所以 $3 imes 3$ 級聯卷積核佔優勢,並且用 $2$ 個級聯的 $3 imes3$ 卷積層( stride=1
)組成的小網路來代替單個的 $5 imes 5$卷積層增加了非線性變換的操作使得模型的泛化能力進一步的提高。
- 兩個 $3 imes 3$ 的堆疊卷基層的有限感受野是 $5 imes 5$ ;三個 $3 imes 3$ 的堆疊卷基層的感受野是 $7 imes 7$,故可以通過小尺寸卷積層的堆疊替代大尺寸卷積層,並且感受野大小不變。
- 多個 $3 imes 3$ 的卷基層比一個大尺寸卷積層有更多的非線性(更多層的非線性函式),使得判決函式更加具有判決性,並且起到隱式正則化的作用。
- $1 imes 1$ 卷積核除了具有降低引數量和增加非線性的作用外,還可以起到對通道數的升降進行控制的作用 (達到特徵降維和升維的作用)。
相關文章
- 卷積核卷積
- 卷積神經網路CNN卷積神經網路CNN
- 影像處理中的valid卷積與same卷積卷積
- 由淺入深:CNN中卷積層與轉置卷積層的關係CNN卷積
- FSNet:利用卷積核概要進行深度卷積神經網路的壓縮卷積神經網路
- 卷積神經網路(CNN)詳解卷積神經網路CNN
- CNN神經網路之卷積操作CNN神經網路卷積
- Tensorflow-卷積神經網路CNN卷積神經網路CNN
- 數字訊號處理:線性卷積、迴圈卷積、圓周卷積計算卷積
- 深度學習(視覺化卷積核)深度學習視覺化卷積
- 詳解 1x1 卷積核卷積
- 卷積神經網路:Convolutional Neural Networks(CNN)卷積神經網路CNN
- 即插即用新卷積:提升CNN效能、速度翻倍卷積CNN
- 卷積神經網路(Convolutional Neural Network,CNN)卷積神經網路CNN
- 直白介紹卷積神經網路(CNN)卷積神經網路CNN
- TensorFlow上實現卷積神經網路CNN卷積神經網路CNN
- Keras上實現卷積神經網路CNNKeras卷積神經網路CNN
- 卷積神經網路CNN-學習1卷積神經網路CNN
- 深度學習之輸入通道個數、卷積核通道個數,卷積核個數、輸出通道個數的關係深度學習卷積
- 從卷積拆分和分組的角度看CNN模型的演化卷積CNN模型
- “卷積神經網路(Convolutional Neural Network,CNN)”之問卷積神經網路CNN
- 卷積神經網路(CNN)介紹與實踐卷積神經網路CNN
- 空洞可分離卷積原理小結卷積
- 5.2.1.1 卷積卷積
- 卷積核大小選擇、網路層數問題卷積
- CNN-卷積神經網路簡單入門(2)CNN卷積神經網路
- 9 大主題卷積神經網路(CNN)的 PyTorch 實現卷積神經網路CNNPyTorch
- 卷積神經網路四種卷積型別卷積神經網路型別
- 如何使用卷積神經網路進行影像處理?卷積神經網路
- Pytorch中自定義神經網路卷積核權重PyTorch神經網路卷積
- LSTM的備胎,用卷積處理時間序列——TCN與因果卷積(理論+Python實踐)卷積Python
- ChannelNets: 省力又討好的channel-wise卷積,在channel維度進行卷積滑動 | NeurIPS 2018卷積
- 5.2.1.3 卷積層卷積
- 1*1卷積卷積
- 卷積步長卷積
- 卷積神經網路中的Winograd快速卷積演算法卷積神經網路演算法
- NodeJS卷積濾鏡處理圖片DemoNodeJS卷積
- CSG:清華大學提出通過分化類特定卷積核來訓練可解釋的卷積網路 | ECCV 2020 Oral卷積