CNN 簡述

CNN 簡述

(1) 卷積：

對影像元素的矩陣變換，是提取影像特徵的方法，多種卷積核可以提取多種特徵。一個卷積核覆蓋的原始影像的範圍叫做感受野（權值共享）。一次卷積運算(哪怕是多個卷積核)提取的特徵往往是區域性的，難以提取出比較全域性的特徵，因此需要在一層卷積基礎上繼續做卷積計算 ，這也就是多層卷積。

(2) 池化：

降維的方法，按照卷積計算得出的特徵向量維度大的驚人，不但會帶來非常大的計算量，而且容易出現過擬合，解決過擬合的辦法就是讓模型儘量“泛化”，也就是再“模糊”一點，那麼一種方法就是把影像中區域性區域的特徵做一個平滑壓縮處理，這源於區域性影像一些特徵的相似性(即區域性相關性原理)。

(3) 全連線：softmax分類

訓練過程： 卷積核中的因子(×1或×0)其實就是需要學習的引數，也就是卷積核矩陣元素的值就是引數值。一個特徵如果有9個值，1000個特徵就有900個值，再加上多個層，需要學習的引數還是比較多的。

(4) CNN 的優點：

CNN 使用範圍是具有區域性空間相關性的資料，比如影像，自然語言，語音

1. 區域性連線：可以提取區域性特徵。

2. 權值共享：減少引數數量，因此降低訓練難度（空間、時間消耗都少了）。 可以完全共享，也可以區域性共享（比如對人臉，眼睛鼻子嘴由於位置和樣式相對固定，可以用和臉部不一樣的卷積核）

3. 降維：透過池化或卷積stride實現。 4.多層次結構：將低層次的區域性特徵組合成為較高層次的特徵。不同層級的特徵可以對應不同任務。

 

(5) CNN 與DNN的區別：

DNN 的輸入是向量形式，並未考慮到平面的結構資訊，在影像和NLP領域這一結構資訊尤為重要，例如識別影像中的數字，同一數字與所在位置無關（換句話說任一位置的權重都應相同），CNN的輸入可以是tensor，例如二維矩陣，透過filter獲得區域性特徵，較好的保留了平面結構資訊。

filter 尺寸計算：Feature Map的尺寸等於 (input_size+2*padding_size − filter_size)/stride+1