RNN

 RNN Q&A

(1) 為什麼具有記憶功能？

這個是在RNN就解決的問題，就是因為有遞迴效應，上一時刻隱層的狀態參與到了這個時刻的計算過程中，直白一點呢的表述也就是選擇和決策參考了上一次的狀態

(2) 為什麼LSTM記的時間長？

因為特意設計的結構中具有CEC的特點，誤差向上一個狀態傳遞時幾乎沒有衰減，所以權值調整的時候，對於很長時間之前的狀態帶來的影響和結尾狀態帶來的影響可以同時發揮作用，最後訓練出來的模型就具有較長時間範圍內的記憶功能。

 

誤差回傳的主力還是透過了Memory Cell而保持了下來。所以我們現在用的LSTM模型，依然有比較好的效果。

 

最後整個梳理一下誤差回傳的過程，誤差透過輸出層，分類器，隱層等進入某個時刻的Block之後，先將誤差傳遞給了Output Gate和Memory Cell兩個地方。 到達輸出門的誤差，用來更新了輸出門的引數w，到達Memory Cell之後，誤差經過兩個路徑：

1 是透過這個cell向前一個時刻傳遞或者更前的時刻傳遞，

2 是用來傳遞到input gate和block的輸入，用來更新了相應的權值（注意！不會經過這裡向前一個時刻傳遞誤差）。

 

最關鍵的問題就是，這個回傳的演算法，只透過中間的Memory Cell向更前的時刻傳遞誤差。