一、深度學習相關理論
1.神經網路概述
2. 卷積神經網路CNN
①卷積層——計算方法是大矩陣內部×小矩陣=較小矩陣，作用是特徵提取
②池化層——計算方法是大矩陣透過選取最大值或是平均值變成小矩陣，作用是降維、提高計算效率
3. 啟用函式——將輸入訊號轉換為非線性的形式，使神經網路能夠表示複雜的非線性關係，除此之外，還可以限制輸出範圍、緩解梯度消失問題
①Sigmoid函式——適用於二分類問題
②Tanh啟用函式——常用於隱藏層中，尤其在迴圈神經網路（RNN）和長短期記憶網路（LSTM）等結構中。然而，由於其存在梯度消失的問題，有時候也會被其它啟用函式如 ReLU 所取代
③ReLU啟用函式——計算簡單，可以緩解梯度消失
二、注意力機制