機器學習-演算法背後的理論與優化(part3)--經驗風險與泛化誤差概述

安財小山羊發表於2020-11-04
機器學習演算法優化

學習筆記，僅供參考，有錯必究

文章目錄

經驗風險與泛化誤差概述

監督學習，尤其是其中一部分傳統的分類問題，能夠進一步泛化為一個統一的模型，稱為基於分類界限的結構風險最小模型。

要深入解讀結構風險最小，就需要理解機器學習中經典分類問題的統計學習基石，就是經驗風險最小。本質上，結構風險最小模型就是經驗風險最小和正則化的組合。有了結構風險最小，我們就能進一步統一邏輯迴歸、廣義線性模型之外分類演算法，包括支援向量機、AdaBoost演算法等。

大家已經很直觀知道，分類的演算法並不唯一，如有邏輯迴歸和支援向量機演算法等。那麼就有個很直觀的問題，那就是哪個演算法更好。在比較演算法好壞的時候，有兩種模式，一種脫離具體問題，絕對的比較演算法。另外一種不脫離具體問題，相對的比較演算法。我們在歷史上學過一個道理，就是不能脫離歷史環境來評價一個人物的好壞。其實，這裡也有類似的結論，一個演算法的環境或者上下文，就是針對特定的具體問題，即不能

相關文章