Pattern Recognition and Machine Learning第三章(3)

哲遠發表於2012-01-19
Mac

貝葉斯模型比較：

我們在這裡從貝葉斯模型的角度討論模型選擇的問題，究竟怎樣的預測模型才是比較好的？不同的模型之間又如何進行組合應用？

從貝葉斯模型的觀點進行模型比較需要使用概率來表示不同模型的使用的不確定性，假設我們希望比較L個模型{Mi}(i=1、2、.....L),這裡，“模型”指的是在已知的資料集D上的概率分佈，不確定性是通過先驗概率分佈P(Mi)，我們希望得到後驗概率enter image description here

其中我們最感興趣的是p(D|Mi)這一項，他表示不同的模型對於已經觀察到的資料的概率分佈，p(D|Mi)/p(D|Mj)標識的是兩個模型的貝葉斯因子(Bayes Factor)，,我們一旦瞭解不同模型後驗概率分佈，我們可以得到：

如果一個模型是由w來決定，那麼，可以得到：

enter image description here

從取樣的角度來看，這個概率可以被視為從一個已知模型的先驗概率中進行隨機取樣，這裡還有一個很有趣的東西就是在於這個概率是一個在貝葉斯理論中在分母位置的歸一化的修正項：

enter image description here

Evidence Approximation(證據逼近？我也不知道怎麼解釋)

雖然我們可以對引數w進行概率的加和，但是想要對所有的進行w,α,β都進行加和還是很棘手的，我們已知下面的公式：

enter image description here

enter image description here

enter image description here

而對於最後一項p(α.β|t),則是一個分佈在(α’，β')周圍的一個很高的尖峰形的分佈，所以：

enter image description here

由貝葉斯理論得，後驗概率可以寫為：

enter image description here

enter image description here

enter image description here

其中:

enter image description here

相關文章