O'Reilly Report：評估機器學習的模型

這篇評估機器學習模型的報告是源於對這個題目需求的緊迫感。這篇報告最初是釋出在Dato的機器學習部落格上的六篇系列博文。我是這個部落格的編輯,需要每天找些東西來發布。Dato開發了一些機器學習的工具來幫助使用者來構建智慧的資料產品。在和機器學習社群的交流中，我們經常會發現相互之間對一些術語會有不同的理解。例如，使用者會要求交叉驗證作為產品的一個特性，而事實上他們是想要超引數的調優，而這一特性我們已經有了。因此我想：“嗯！我應該快速地解釋一下這些概念的意思，並告訴大家它們在使用者手冊裡面的哪些章節。”

所以我坐下開始寫一篇博文來解釋交叉驗證、保留部分資料做驗證和超引數調優。然而在寫完頭兩段後，我意識到這可能會遠遠超過一篇博文才能講清楚的。這三個概念處在機器學習的模型評估的層次體系中的不同層面。交叉驗證和保留部分資料做驗證是把資料集進行一定的切分來測量模型對於“沒見過的”資料的表現。與此不同的是，超引數調優則是模型選擇的元過程。但是為什麼需要給模型“沒見過的”資料？什麼是關於超引數調優的這個“元”？為了解釋清楚這一切，我需要從最基礎的開始。首先我需要從更高層次上解釋這些概念，以及他們是怎麼組織在一起的。只有在這之後我才能進一步討論細節。

更多內容請點選閱讀原文，在O'Reilly官方網站上下載完整PDF檔案。