25個常見網路

$++發表於2020-10-21

深度學習發展很快，新的模型層出不窮，所以要想全部列舉是不可能的。另外，很多模型都是這裡提出很長很長時間了，所以也不是說“老”模型就沒用，大家學習的話，還是要全面而深入的學習。

1、 Feed forward neural networks (FF or FFNN) and perceptrons (P)

前饋神經網路和感知機，資訊從前（輸入）往後（輸出）流動，一般用反向傳播（BP）來訓練。算是一種監督學習。

 

2、Radial basis function (RBF)

徑向基函式網路，是一種徑向基函式作為啟用函式的FFNNs（前饋神經網路）。

 

3、 Hopfield network (HN)

Hopfield網路，是一種每個神經元都跟其它神經元相連線的神經網路。

 

4、 Markov chains (MC or discrete time Markov Chain, DTMC)

馬爾可夫鏈 或離散時間馬爾可夫鏈，算是BMs和HNs的雛形。

 

5、 Boltzmann machines (BM)

玻爾茲曼機，和Hopfield網路很類似，但是：一些神經元作為輸入神經元，剩餘的是隱藏層。

 

6、Restricted Boltzmann machines (RBM)

受限玻爾茲曼機，和玻爾茲曼機 以及 Hopfield網路 都比較類似。

 

7、 Autoencoders (AE)

自動編碼，和FFNN有些類似，它更像是FFNN的另一種用法，而不是本質上完全不同的另一種架構。

 

8、Sparse autoencoders (SAE)

稀疏自動編碼，跟自動編碼在某種程度比較相反。

 

9、 Variational autoencoders (VAE)

變分自動編碼，和AE架構相似，不同的是：輸入樣本的一個近似概率分佈。這使得它跟BM、RBM更相近。

 

10、 Denoising autoencoders (DAE)

去噪自動編碼，也是一種自編碼機，它不僅需要訓練資料，還需要帶噪音的訓練資料。

 

11 Deep belief networks (DBN）

深度信念網路，由多個受限玻爾茲曼機或變分自動編碼堆砌而成。

 

12 Convolutional neural networks (CNN or deep convolutional neural networks, DCNN)

卷積神經網路，這個不解釋也都知道。

 

13 Deconvolutional networks (DN)

去卷積網路，又叫逆圖形網路，是一種逆向的卷積神經網路。

 

14 Deep convolutional inverse graphics networks (DCIGN)

深度卷積逆向圖網路，實際上是VAE，且分別用CNN、DNN來作編碼和解碼。

 

15 Generative adversarial networks (GAN)

生成對抗網路，Goodfellow的封神之作，這個模型不用解釋也都知道。

 

16 Recurrent neural networks (RNN)

迴圈神經網路，這個更不用解釋，做語音、NLP的沒有人不知道，甚至非AI相關人員也知道。

 

17 Long / short term memory (LSTM)

長短期記憶網路， RNN的變種，解決梯度消失/爆炸的問題，也不用解釋，這幾年刷爆各大頂會。

 

18 Gated recurrent units (GRU)

門迴圈單元，類似LSTM的定位，算是LSTM的簡化版。

 

19 Neural Turing machines (NTM)

神經圖靈機，LSTM的抽象，以窺探LSTM的內部細節。具有讀取、寫入、修改狀態的能力。

 

20 Bidirectional recurrent neural networks, bidirectional long / short term memory networks and bidirectional gated recurrent units (BiRNN, BiLSTM and BiGRU respectively)

雙向迴圈神經網路、雙向長短期記憶網路和雙向門控迴圈單元，把RNN、雙向的LSTM、GRU雙向，不再只是從左到右，而是既有從左到右又有從右到左。

21 Deep residual networks (DRN)

深度殘差網路，是非常深的FFNN，它可以把資訊從某一層傳至後面幾層（通常2-5層）。

22 Echo state networks (ESN)

回聲狀態網路，是另一種不同型別的（迴圈）網路。

23 Extreme learning machines (ELM)

極限學習機，本質上是隨機連線的FFNN。

24 Liquid state machines (LSM)

液態機，跟ESN類似，區別是用閾值啟用函式取代了sigmoid啟用函式。

2.25 Kohonen networks (KN, also self organising (feature) map, SOM, SOFM)

Kohonen 網路，也稱之為自組織（特徵）對映。

 

轉載於： https://blog.csdn.net/angciyu/article/details/99729871   

僅供學習交流   如有侵刪

 

相關文章