出處： Michael Nielsen的《Neural Network and Deep Learning》，本節譯者：哈工大SCIR本科生 王宇軒
目錄
1、使用神經網路識別手寫數字
2、反向傳播演算法是如何工作的
- 熱身：一個基於矩陣的快速計算神經網路輸出的方法
- 關於損失函式的兩個假設
- Hadamard積
- 反向傳播背後的四個基本等式
- 四個基本等式的證明（選讀）
- 反向傳播演算法
- 什麼時候反向傳播演算法高效
- 反向傳播演算法再理解
3、改進神經網路的學習方法
4、神經網路能夠計算任意函式的視覺證明
5、為什麼深度神經網路的訓練是困難的
6、深度學習
反向傳播演算法是以常見線性代數操作為基礎——諸如向量加法，向量與矩陣乘法等運算。但其中一個操作相對不是那麼常用。具體來講，假設s和t是兩個有相同維數的向量。那麼我們用s⊙t來表示兩個向量的對應元素(elementwise)相乘。因此s⊙t的元素(s⊙t)j=sjtj。
這種對應元素相乘有時被稱為Hadamard積（Hadamard product）或Schur積(Schur product)。我們將稱它為Hadamard積。優秀的矩陣庫通常會提供Hadamard積的快速實現，這在實現反向傳播時將會有用。
下一節我們將介紹“反向傳播背後的四個基本等式”
本文來源於哈工大SCIR
