模式識別與機器學習——迴歸的線性模型

weixin_33816300發表於2019-01-30

線性基函式模型

1507799-8a2b625e9b3d5ce2.png

其中基函式可以選擇sigmoid、徑向基函式、傅立葉基函式

w0放入求和中

1507799-5016575134a9abc8.png

最大似然與最小平方

設預測值符合高斯分佈

1507799-c38497c4501f5073.png
1507799-66ef860f295acb66.png
1507799-ce823ca10ebfa866.png

w的最小平方解對應於位於子空間S的與t最近的y的選擇

順序學習

1507799-eef949c538ab8155.png

正則化最小平方

1507799-dc7f69aad222d2a5.png
1507799-e607dbdf6b3c9ea5.png

更加一般的正則化

1507799-43a75051ea7cbdd0.png
1507799-0aa988257d0d1f87.png

多個輸出

1507799-d9a296883c8101c6.png
1507799-8d4298ec5ccf8e2b.png

偏置-方差分解

平方損失誤差可以表示為,第二項為噪聲

1507799-b33c7a864c56b160.png

對於其中的第一項做變形

1507799-d4ad50144f87f75a.png

可以分解得到

1507799-78806ff60710b1ff.png
1507799-975a5cad6b36d0ac.png

貝葉斯線性迴歸

引數分佈

關於線性擬合的貝葉斯方法的討論,我們首先引入模型引數w的先驗概率分佈。現在這個階段,我們把噪聲精度引數當做已知常數。

1507799-49e956acfc550401.png

接下來我們計算後驗分佈,它正比於似然函式與先驗分佈的乘積。由於共軛高斯先驗分佈的選擇,後驗分佈也將是高斯分佈。但是,我們在推導公式(2.116)已經進行了必要的工作,這讓我們能夠直接寫出後驗概率分佈的形式

1507799-a47c1530ab1e66ff.png

此外,如果資料點是順序到達的,那麼任何一個階段的後驗概率分佈都可以看成後續資料點的先驗。此時新的後驗分佈再次由公式(3.49)給出。

考慮一個簡單的形式

1507799-7ab9f26e15380cfc.png
1507799-05923fad699d7f2f.png

預測分佈

1507799-029e8d7c157933dd.png

可以簡化為

1507799-4db7453d629c3580.png
1507799-7ad96a1c5daafaa3.png

公式(3.59)的第一項表示資料中的噪聲,而第二項反映了與引數w關聯的不確定性。

1507799-24a1057f0ef28641.png

等價核

如果我們把公式(3.53)代入表示式(3.3),我們看到預測均值可以寫成下面的形式

1507799-9d7a0475dfa7b9b9.png

其中SN由公式(3.51)定義

因此在點x處的預測均值由訓練集目標變數tn的線性組合給出,即

1507799-b6f438a7e4dcaa74.png
1507799-3b4e6439f66d38c7.png

被稱為平滑矩陣(smoother matrix)或者等價核(equivalent kernel)。像這樣的迴歸函式,通過對訓練集裡目標值進行線性組合做預測,被稱為線性平滑(linear smoother)。

我們還可以獲得更多的關於等價核的認識。考慮y(x)和y(x′)的協方差

1507799-8c2698bc75c4bc48.png

其中我們使用了公式(3.49)和公式(3.62)。根據等價核的形式,我們可以看到在附近的點處的預測均值相關性較高,而對於距離較遠的點對,相關性就較低。

相關文章