Pattern Recognition and Machine Learning第五章(3)

赫斯矩陣(Hessian Matrix)：

我們顯示了錯誤回溯可以被用於錯誤函式的二次導數，由以下的式子顯示：

赫斯矩陣在神經網路計算中扮演這一個非常具有重要的位置：

1、一些非線性優化演算法使用訓練神經網路，神經網路用於基於被赫斯矩陣控制的錯誤函式的二次屬性。

2、赫斯矩陣對前向神經網路的再訓練生成一個快速的過程。

3、赫斯矩陣的逆置可以被用於識別最小神經網路權值。

4、赫斯矩陣在貝葉斯神經網路的拉普拉斯預測(Laplace approximation)，他的逆置可以被用於決定訓練網路的預測分佈，他的特徵值決定了超引數的值，他的行列式被用於估算模型的證據。

對角線估計

赫斯矩陣的對角線為：

我們忽略非對角線的元素，可以獲得：

外部結果預測（Outer product approximation）

我們可以寫下赫斯矩陣為如下形式：

通過忽略上式的第二項我們可以得到一個成為Levenberg-Marquardt的預測或者outer product預測：

逆置赫斯矩陣:

首先我們寫出outer product 的預測值為：

假設我們已經獲得L個資料點的逆置赫斯矩陣，通過分離

因此我們考慮赫斯矩陣的逆置，我們可以得到：

最終導數

赫斯矩陣的精確預測

我們之前已經討論了很多對於赫斯矩陣的估計，我們這裡對赫斯矩陣做出精確的預測：首先我們預定義一下的標誌：

對於兩個都在第二層的：

兩個權值都在第一層中：

其中一個在第一層另一個在第二層中：

赫斯矩陣的快速乘法

在很多的赫斯矩陣的應用中，我們所感興趣的並不是赫斯矩陣本身，而是赫斯矩陣和某一個向量v的相乘的一個結果而則是我們所希望得到的結果，為了做到這一點我們首先標記：

對於這個標記，我們使用R{.}來標識，因此。

我們還可以得到多個關係式：

我們還可以得到一下的式子：

神經網路的正規化

我們在第一章中可以看到，為了規避“過度擬合(overfitting)"所帶來的問題，我們可以在誤差函式後面加一個正規化項：

但是，對於上面的式子，也是存在一定的誤差的。就是因為它和具體的範圍屬性不一致，為了凸顯這個問題，我們考慮一個兩層模型，第一層隱含單元的啟用函式為如下的形式：

假設我們使用一個轉換模式：

然後我們可以做一下的轉化：

因此可以把輸出結果轉化為：

因此，如果需要一個修正項能夠對這些轉化過程不發生變化，那麼，這樣的修正項可以被寫為：

一旦發生上面的變數的變化，我們可以採取一下轉化：