CNN使用小卷積核而非大卷積的好處

xinet發表於2018-11-16

大尺寸的卷積核可以帶來更大的感受野,但也意味著更多的引數,並且《Rethinking the Inception Architecture for Computer Vision》的作者提出可以用 $2$ 個連續的 $3 imes3$ 卷積層( stride=1)組成的小網路來代替單個的 $5 imes 5$卷積層可以保持感受野範圍的同時又減少了引數量:

卷積核設定 引數個數
一個 $5 imes 5$ $5 imes 5+1=26$
兩個級聯的 $3 imes 3$ $(3 imes 3+1) imes 2=20$

由於引數個數僅與卷積核大小有關,所以 $3 imes 3$ 級聯卷積核佔優勢,並且用 $2$ 個級聯的 $3 imes3$ 卷積層( stride=1)組成的小網路來代替單個的 $5 imes 5$卷積層增加了非線性變換的操作使得模型的泛化能力進一步的提高。

  • 兩個 $3 imes 3$ 的堆疊卷基層的有限感受野是 $5 imes 5$ ;三個 $3 imes 3$ 的堆疊卷基層的感受野是 $7 imes 7$,故可以通過小尺寸卷積層的堆疊替代大尺寸卷積層,並且感受野大小不變。
  • 多個 $3 imes 3$ 的卷基層比一個大尺寸卷積層有更多的非線性(更多層的非線性函式),使得判決函式更加具有判決性,並且起到隱式正則化的作用。
  • $1 imes 1$ 卷積核除了具有降低引數量和增加非線性的作用外,還可以起到對通道數的升降進行控制的作用 (達到特徵降維和升維的作用)。


相關文章