模式識別與機器學習——迴歸的線性模型

線性基函式模型

其中基函式可以選擇sigmoid、徑向基函式、傅立葉基函式

w0放入求和中

最大似然與最小平方

設預測值符合高斯分佈

w的最小平方解對應於位於子空間S的與t最近的y的選擇

順序學習

正則化最小平方

更加一般的正則化

多個輸出

偏置-方差分解

平方損失誤差可以表示為，第二項為噪聲

對於其中的第一項做變形

可以分解得到

貝葉斯線性迴歸

引數分佈

關於線性擬合的貝葉斯方法的討論，我們首先引入模型引數w的先驗概率分佈。現在這個階段，我們把噪聲精度引數當做已知常數。

接下來我們計算後驗分佈，它正比於似然函式與先驗分佈的乘積。由於共軛高斯先驗分佈的選擇，後驗分佈也將是高斯分佈。但是，我們在推導公式（2.116）已經進行了必要的工作，這讓我們能夠直接寫出後驗概率分佈的形式

此外，如果資料點是順序到達的，那麼任何一個階段的後驗概率分佈都可以看成後續資料點的先驗。此時新的後驗分佈再次由公式（3.49）給出。

考慮一個簡單的形式

預測分佈

可以簡化為

公式（3.59）的第一項表示資料中的噪聲，而第二項反映了與引數w關聯的不確定性。

等價核

如果我們把公式（3.53）代入表示式（3.3），我們看到預測均值可以寫成下面的形式

其中S_N由公式（3.51）定義

因此在點x處的預測均值由訓練集目標變數tn的線性組合給出，即

被稱為平滑矩陣（smoother matrix）或者等價核（equivalent kernel）。像這樣的迴歸函式，通過對訓練集裡目標值進行線性組合做預測，被稱為線性平滑（linear smoother）。

我們還可以獲得更多的關於等價核的認識。考慮y(x)和y(x′)的協方差

其中我們使用了公式（3.49）和公式（3.62）。根據等價核的形式，我們可以看到在附近的點處的預測均值相關性較高，而對於距離較遠的點對，相關性就較低。