CNN網路結構設計的觀點：
- 每一層卷積有多少filters，以及一共有多少層卷積，這些暫時沒有理論支撐。一般都是靠感覺去設定幾組候選值，然後透過實驗挑選出其中的最佳值。
- 3*3的卷積已經成為了大勢所趨，它能在保持計算效率的同時，較好地捕捉區域性空間特徵，如影像中的邊緣和紋理資訊，同時限制過大的感受野，避免過高的計算成本和過擬合的風險。
feature map個數如何選擇：
- 關於feature map的個數，有一個大部分網路都在遵循的原則就是當輸出特徵圖尺寸減半時，輸出特徵圖的通道數應該加倍，這樣保證相鄰卷積層所包含的資訊量不會相差太大
- 至於全連線層的節點數，首先現有的分類網路的最後一層幾乎都是使用softmax函式啟用，輸出圖片屬於每一個類別的機率值，所以最後一層的節點數等於待分類圖片的類別數，這是毋庸置疑的。而在Network in network提出全域性平均池化(GAP)後，主流的網路幾乎都是在特徵圖尺寸降低到7*7左右時，直接GAP+全連線+softmax輸出分類機率。這樣網路中只有一層全連線層，其輸入節點數是GAP之前的特徵圖個數，輸出節點數是圖片分類類別數目。