1. SGD相關

• one epoch：所有的訓練樣本完成一次Forword運算以及一次BP運算
• batch size：一次Forword運算以及BP運算中所需要的訓練樣本數目，其實深度學習每一次引數的更新所需要損失函式並不是由一個{data：label}獲得的，而是由一組資料加權得到的，這一組資料的數量就是[batch size]。當然batch size 越大，所需的記憶體就越大，要量力而行
• iterations（迭代）：每一次迭代都是一次權重更新，每一次權重更新需要batch size個資料進行Forward運算得到損失函式，再BP演算法更新引數。
• 最後可以得到一個公式:
  one epoch = numbers of iterations = N = 總的訓練樣本的數量/batch size

epoch可以翻譯成“期”。比如一共1000個樣本，每個樣本依次用來訓練這個神經網路，當這1000個樣本都被用過一遍之後，我們就說完成了一期訓練。如果設定epoch=5，意思就是說把這個神經網路進行了五期訓練。

一個epoch就是把整個訓練集過一遍。

如果是用sgd的話（每次隨機選取樣本），每訓練1000個隨機樣本就是一個epoch。

• 批量梯度下降法（Batch Gradient Descent，簡稱BGD）是梯度下降法最原始的形式，它的具體思路是在更新每一引數時都使用所有的樣本來進行更新
  
  
  

  從上面公式可以注意到，它得到的是一個全域性最優解，但是每迭代一步，都要用到訓練集所有的資料，如果樣本數目mm很大，那麼可想而知這種方法的迭代速度！所以，這就引入了另外一種方法，隨機梯度下降。
  　　優點：全域性最優解；易於並行實現；
  　　缺點：當樣本數目很多時，訓練過程會很慢。
  　　從迭代的次數上來看，BGD迭代的次數相對較少。其迭代的收斂曲線示意圖可以表示如下：

  
  
  

• 隨機梯度下降法SGD
  由於批量梯度下降法在更新每一個引數時，都需要所有的訓練樣本，所以訓練過程會隨著樣本數量的加大而變得異常的緩慢。隨機梯度下降法（Stochastic Gradient Descent，簡稱SGD）正是為了解決批量梯度下降法這一弊端而提出的。

  
  
  
  
  

  隨機梯度下降是通過每個樣本來迭代更新一次，如果樣本量很大的情況（例如幾十萬），那麼可能只用其中幾萬條或者幾千條的樣本，就已經將theta迭代到最優解了，對比上面的批量梯度下降，迭代一次需要用到十幾萬訓練樣本，一次迭代不可能最優，如果迭代10次的話就需要遍歷訓練樣本10次。但是，SGD伴隨的一個問題是噪音較BGD要多，使得SGD並不是每次迭代都向著整體最優化方向。
  　　優點：訓練速度快；
  　　缺點：準確度下降，並不是全域性最優；不易於並行實現。
  　　從迭代的次數上來看，SGD迭代的次數較多，在解空間的搜尋過程看起來很盲目。其迭代的收斂曲線示意圖可以表示如下：

  
  
  

• 小批量梯度下降法MBGD
  有上述的兩種梯度下降法可以看出，其各自均有優缺點，那麼能不能在兩種方法的效能之間取得一個折衷呢？即，演算法的訓練過程比較快，而且也要保證最終引數訓練的準確率，而這正是小批量梯度下降法（Mini-batch Gradient Descent，簡稱MBGD）的初衷。
  

  MBGD在每次更新引數時使用b個樣本（b一般為10），其具體的虛擬碼形式為：
  
• 總結一下：
  Batch gradient descent: Use all examples in each iteration；
  Stochastic gradient descent: Use 1 example in each iteration；
  Mini-batch gradient descent: Use b examples in each iteration.

source:
http://www.cnblogs.com/maybe2030/p/5089753.html

2. RNN

3. 各種層的概念

拿大神經科學家 和 於 年提出貓的初級視皮層中單個神經元的“感受野”( )概念，緊接著於 年發現了貓的視覺中樞裡存在感受野、雙目視覺和 其他功能結構，標誌著神經網路結構首次在大腦視覺系統中被發現。
https://www.youtube.com/watch?v=Ukgii7Yd_cU