Pattern Recognition and Machine Learning第三章(2)

1、貝葉斯線性迴歸

我們在之前討論中提到，設定一個線性迴歸模型的引數的最大概率中，由基本函式所決定的有效模型複雜度，是被資料集的數量大小所控制的,新增一個修正項意味著有效的模型複雜度可以被修正項係數的值所控制(雖然基礎函式的選擇也是很重要的),我們使用線性迴歸的貝葉斯方法來避免overfitting的問題,我們首先引入一個w的先驗概率分佈，我們也將噪音精確度引數β視作一個已知的常數從而給出：

m0是平均數，S0是協方差矩陣 緊接著我們計算後驗概率分佈得：

我們考慮一個特定的高斯分佈進行討論：

對後驗概率分佈取對數得：

這樣，最大化該後驗概率等同於最小化平方誤差函式之和。

2、預測分佈 通常情況下我們不僅僅對w感興趣，我們更加感興趣的是對於一個新輸入的x值，他的t’究竟是多少，因此我們需要：

其中

3、等價核心(Equivalent Kernel)：

預測平均值可以被寫成一下形式：

該回歸函式用於使用訓練資料的線性組合來對結果進行預測，等價核函式k(x,x')可以被視為一個函式在已知x'的前提下，對x的函式的變化的函式。

我們對等價核函式進行深入的探討：

核方程的線性迴歸的形成為我們提供了另外一個方法，即除了引入一組基本方程(basis function)的方法之外，我們還可以直接定義一個本地化的(localized)核方程用於對一個新的輸入x進行預測，這個方法為我們提供了一個迴歸方法的計算框架，稱作高斯過程(Gaussian Processes)，一個有效的核通過組合不同的權值與目標值之和來達到預測x的預測的目的，這些核函式對於所有的輸入值的權值之和應為1，即：