Pattern Recognition and Machine Learning 第五章（2）

引數最優化

我們現在要做的的一個工作就是如何使用神經網路的方法確定w，其中我們對於w的修正思路為，其中最後一項為▽E(w)指的是錯誤函式增加的最快的頻率的方向，由於E(w)是一個在w上連續的光滑的函式，它的最小值將會出現在權值域空間上錯誤函式的導數最小時，即：，因此我們對引數進行調整時，需要：

其中：

因此：

其中赫斯(Hessian)H是通過w*,為了從幾何的角度解釋，我們可以得到：，我們可以將w-w*通過線性組合特徵向量得到：

，

因此，誤差函式為：

錯誤回溯：（error backpropagation）

我們通過對所有的錯誤函式進行加和，得到整個神經網路的錯誤函式為

我們考慮一個最簡單的一個線性模型：

因此對於一個特定的輸入模式n，我們使用一下的形式：

其中：，因此錯誤函式對於權值函式wji的導數值為：

對於一個通用的前向網路，每一個單元計算輸入的一個權值和：

而對於每一個節點：， 因此，我們要知道每一個錯誤函式對於權值wji的取導值，我們可以得出一下公式：

這裡我們引入一個很有用的標誌：

因此：

我們已經討論過，對於輸出單元，而對於隱含單元j，我們可以得到：

我們通過將之前的式子代入可得：

因此對於總的誤差資料：

一個簡單的例子

我們考慮一個簡單的錯誤回溯的例子：

這個函式的特性為：，對於每一個訓練集，我們首先使用前向網路：

我們對於使用錯誤回溯可得：

最後，對於第一層和第二層權重的取導數為：

雅克比矩陣（Jacobian matrix）

我們的錯誤函式對於權值的導數可以從錯誤的回溯值中被獲得，錯誤回溯的技術可以被應用於其他的導數計算中，這裡我們考慮一個叫做雅克比矩陣：

其中每一個這種導數可以被輸入值來決定，雅克比矩陣在不同的模型中扮演著一個非常重要的角色，假設我們希望最小化錯誤函式E，我們可以得到：

由於雅克比矩陣提供了一個對於本地的輸出值的敏感度的一個量度，因此我們通過修改x的值，可以達到修改y值的目的：。

雅克比矩陣可以被用於計算：

我們使用之前的式子，將其代入得：

如果我們有單獨的sigmoid啟用函式，那麼：