線性模型小結
線性模型，顧名思義，就是使用將特徵的線性組合得到的超平面劃分特徵空間的方法。簡單的在二維空間中，線性模型就是一條直線，而在三維空間中，線性模型就是一個平面，它們都可以將所在空間劃分為兩部分。當有多個超平面的時候可以將空間劃分為多個區域。
怎麼得到線性模型？在PRML中將主要的方法劃分為三種方式
1：discriminant function即判別函式法
主要途徑是得到一個判別函式，通過函式來對樣本空間進行劃分。
2：使用貝葉斯理論求後驗概率P(Ck|X)，由類條件概率和先驗概率得到後驗概率。generative models.
3：另一種方法也是求後驗概率P(Ck|X)，但是並不是使用貝葉斯理論先求條件概率和先驗概率來得到。而是直接構建後驗概率的模型，然後通過訓練集來優化該模型的引數，可以使用最大似然等方法來解決。Logistic regression. Iterative reweighted least squares.
本章的內容也是按照這個基本的結構來劃分的：
一：判別函式方法
1：least squares for classification
最小二乘分類，最小錯誤率
2：Fisher’s linear discriminant
Fisher線性分類：樣本在投影空間中的最大可分性
3：Perceptron algorithm
感知器演算法：在樣本線性可分的情況下能保證收斂，並且分類超平面結果不確定，取決於初始化權值。
二：概率產生模型（probabilistic generative models）
通過貝葉斯理論將後驗概率表示為先驗概率和類條件概率，得到Logistic函式的形式，然後通過最大似然估計來優化Logistic函式的引數。主要討論了樣本的類條件分佈概率符合高斯分佈情況，兩類樣本可以有相同的協方差矩陣，也可有不同的協方差矩陣，主要討論前者。然後是討論了離散特徵的處理，以及用指數族來表示其通用形式。
三：概率區分模型
在二中的處理方式是一種間接的處理方式，另一種相對應的模型就是直接構建其後驗概率模型，通過最大似然估計來優化其引數。
代表性的方法就是Logistic regression。關於權值的更新介紹了Iterative reweighted least squares方法來更新權值。
probit regression：使用probit activation function來對樣本進行分類。
然後簡單的介紹多類別情況的Logistic regression。Canonical link function是Logistic regression的統一表示形式，跟指數族類似。
四：拉普拉斯逼近（Laplace Approximation）
前面講的很多模型都是針對高斯分佈的，當樣本不符合高斯分佈的時候顯然就不能再使用，所以該節介紹了一種使用高斯分佈逼近非高斯分佈的技術：Laplace Approximation。主要分為三步：找最大點，泰勒展開，歸一化。
該節的另一個重點部分是從數學角度分析了模型選擇問題：分析了過擬合產生的原因以及模型選擇方法BIC（Bayesian Information Criterion）方法。
五：Bayesian Logistic Regression
將拉普拉斯逼近用於Logistic regression。