過擬合與欠擬合

過擬合與欠擬合

過擬合：

一個假設在訓練資料上能夠獲得比其他假設更好的擬合， 但是在訓練資料外的資料集上卻不能很好地擬合資料，此時認為這個假設出現了過擬合的現象。(模型過於複雜)

欠擬合：

一個假設在訓練資料上不能獲得更好的擬合， 但是在訓練資料外的資料集上也不能很好地擬合資料，此時認為這個假設出現了欠擬合的現象。(模型過於簡單)

欠擬合原因以及解決辦法

原因：學習到資料的特徵過少

解決辦法：增加資料的特徵數量

過擬合原因以及解決辦法

原因：原始特徵過多，存在一些嘈雜特徵。 模型過於複雜是因為模型嘗試去兼顧各個測試資料點。

解決辦法：

進行特徵選擇，消除關聯性大的特徵(很難做)

交叉驗證(讓所有資料都有過訓練)

正則化----儘量減小高次項特徵的影響，使係數趨近於0

L2正則化

作用：可以使得W的每個元素都很小，都接近於0

優點：越小的引數說明模型越簡單，越簡單的模型則越不容易產生過擬合現象