Pattern Recognition and Machine Learning第四章(2)

哲遠發表於2012-01-22
Mac

1、認知演算法(Perceptron Algorithm)

我們這裡介紹另外一個判別函式，是由Rosenblatt提出的，在模式識別的領域中佔有很重要的地位，他在二類模型分類中使用，我們給出這個線性模型的形式：

enter image description here

其中， f(a)=+1(a≥0),-1(a＜0)

enter image description here

enter image description here

2、概率生成模型

我們緊接著從概率的角度來進行分類，我們引入一個生成過程，考慮一下的式子：

enter image description here

enter image description here

enter image description here

對於兩個類的分類，我們可以知道 enter image description here

enter image description here

enter image description here

最大化概率解決方案：

enter image description here，enter image description here

因此：enter image description here

enter image description here

取對數可得：

enter image description here

因此，要最大化這個值：

enter image description here

enter image description here

對μ1進行取導可得：

enter image description here

緊接著，我們考慮最大化共享協方差矩陣：

enter image description here

enter image description here

因此當enter image description here時，最大

離散模型：

在離散模型中我們考慮對於離散值的應用：xi,為了簡單期間，我們取值為enter image description here，如果有D個輸入值,那麼對於每一個類，總的分佈對應於2^D數值的表，包含2^D-1個獨立的變數 enter image description here

因此我們可得：

enter image description here

相關文章