模式識別與機器學習——迴歸的線性模型
線性基函式模型
其中基函式可以選擇sigmoid、徑向基函式、傅立葉基函式
w0放入求和中
最大似然與最小平方
設預測值符合高斯分佈
w的最小平方解對應於位於子空間S的與t最近的y的選擇
順序學習
正則化最小平方
更加一般的正則化
多個輸出
偏置-方差分解
平方損失誤差可以表示為,第二項為噪聲
對於其中的第一項做變形
可以分解得到
貝葉斯線性迴歸
引數分佈
關於線性擬合的貝葉斯方法的討論,我們首先引入模型引數w的先驗概率分佈。現在這個階段,我們把噪聲精度引數當做已知常數。
接下來我們計算後驗分佈,它正比於似然函式與先驗分佈的乘積。由於共軛高斯先驗分佈的選擇,後驗分佈也將是高斯分佈。但是,我們在推導公式(2.116)已經進行了必要的工作,這讓我們能夠直接寫出後驗概率分佈的形式
此外,如果資料點是順序到達的,那麼任何一個階段的後驗概率分佈都可以看成後續資料點的先驗。此時新的後驗分佈再次由公式(3.49)給出。
考慮一個簡單的形式
預測分佈
可以簡化為
公式(3.59)的第一項表示資料中的噪聲,而第二項反映了與引數w關聯的不確定性。
等價核
如果我們把公式(3.53)代入表示式(3.3),我們看到預測均值可以寫成下面的形式
其中SN由公式(3.51)定義
因此在點x處的預測均值由訓練集目標變數tn的線性組合給出,即
被稱為平滑矩陣(smoother matrix)或者等價核(equivalent kernel)。像這樣的迴歸函式,通過對訓練集裡目標值進行線性組合做預測,被稱為線性平滑(linear smoother)。
我們還可以獲得更多的關於等價核的認識。考慮y(x)和y(x′)的協方差
其中我們使用了公式(3.49)和公式(3.62)。根據等價核的形式,我們可以看到在附近的點處的預測均值相關性較高,而對於距離較遠的點對,相關性就較低。
相關文章
- 機器學習 | 線性迴歸與邏輯迴歸機器學習邏輯迴歸
- 機器學習-線性迴歸機器學習
- 機器學習:線性迴歸機器學習
- 機器學習之線性迴歸機器學習
- 機器學習整理(線性迴歸)機器學習
- PRML 迴歸的線性模型模型
- 【機器學習】--線性迴歸從初識到應用機器學習
- 多元線性迴歸模型模型
- 【機器學習】線性迴歸預測機器學習
- 機器學習5-線性迴歸機器學習
- 機器學習_最小二乘法,線性迴歸與邏輯迴歸機器學習邏輯迴歸
- [DataAnalysis]機器學習演算法——線性模型(邏輯迴歸+LDA)機器學習演算法模型邏輯迴歸LDA
- 線性迴歸演算法模型與線性分類演算法模型聯絡與區別初探演算法模型
- 【機器學習】線性迴歸原理介紹機器學習
- 【機器學習】線性迴歸sklearn實現機器學習
- 機器學習實戰(一)—— 線性迴歸機器學習
- 線性迴歸(吳恩達機器學習)吳恩達機器學習
- spark Ml 機器學習之 線性迴歸Spark機器學習
- 機器學習筆記(1):線性迴歸機器學習筆記
- 機器學習——簡單線性迴歸(上)機器學習
- 機器學習——簡單線性迴歸(下)機器學習
- 機器學習--線性迴歸--梯度下降的實現機器學習梯度
- 一元線性迴歸模型模型
- Spark 線性迴歸模型異常Spark模型
- 機器學習回顧篇(3):線性迴歸機器學習
- 【機器學習】線性迴歸python實現機器學習Python
- Stanford機器學習課程筆記——多變數線性迴歸模型機器學習筆記變數模型
- 手擼機器學習演算法 - 線性迴歸機器學習演算法
- 機器學習入門:多變數線性迴歸機器學習變數
- 【機器學習筆記】:大話線性迴歸(一)機器學習筆記
- 【機器學習筆記】:大話線性迴歸(二)機器學習筆記
- 機器學習筆記(2):線性迴歸-使用gluon機器學習筆記
- 線性迴歸
- 利用TensorFlow實現線性迴歸模型模型
- 機器學習-----線性迴歸淺談(Linear Regression)機器學習
- 機器學習之線性迴歸(純python實現)機器學習Python
- 模式識別與機器學習(二)模式機器學習
- 1.3 - 線性迴歸