《機器學習》第二章 模型評估與選擇 筆記1

經驗誤差（empirical error）即 訓練誤差（training error）：訓練集樣本產生的誤差。
泛化誤差（generalization error）: 測試集樣本產生的誤差。

過擬合（overfitting）：當學習器把訓練樣本學得“太好”的時候，很可能已經把訓練樣本本身的一些特點當作了所有潛在樣本都會具有的一般性質，這樣就會導致泛化效能下降。

欠擬合（underfitting）

泛化誤差的評估方法：
1 留出法
2 交叉驗證法/k倍交叉驗證
3 自助法

查準率、查全率的效能度量
1 平衡點（Break-Even Point） BEP
查準率=查全率 時的取值
2 F1度量

查準率更重要：在商品推薦系統中，為了儘可能少打擾客戶，更希望推薦內容確實是使用者感興趣的。
查全率更重要：在逃犯資訊檢索系統中，更希望儘可能少漏掉逃犯

比較檢驗
1 假設檢驗（二項檢驗、雙邊T檢驗）
2 交叉驗證t檢驗
3 McNemar檢驗（2和3檢驗是在一個資料集上比較兩個演算法的效能）
4 Friedman檢驗
5 Nemenyi後續檢驗，進一步區分各演算法

偏差與方差（Bias and Variance）