降低過擬合和欠擬合的方法

降低過擬合的方法

1.從資料入手，獲得更多的訓練資料。使用更多的訓練資料是解決過擬合最有效的手段，因為更多的樣本能夠讓模型學習到更多更有效的特徵，減小噪聲的影響。直接增加實驗資料很難，可以通過一定的規則來擴充訓練資料。如，通過影像的平移，旋轉，縮放等方式。還可以用GAN來合成。

2.降低模型的複雜度，在資料較少時，模型過於複雜是產生過擬合的主要因素。適當降低模型複雜度可以避免模型擬合過多的取樣噪聲。eg：在神經網路中較少網路層數，神經元個數。在決策樹模型中降低樹的深度。

3.正則化L1，L2。elastic

4.整合學習方法，把多個模型整合在一起，來降低單一模型的過擬合。如bagging

降低“欠擬合”的方法

1.新增新的特徵，當特徵不足或者現有特徵與樣本標籤的相關性不強時，模型容易出現欠擬合，挖掘出新的特徵可以有好的效果。

2.增加模型的複雜度，簡單模型學習能力差，通過增加模型複雜度可以使模型有更強的擬合能力。eg：線上性模型中加高次項，在神經網路中增加網路層數或神經元個數。

3.減小正則化係數。他本來是用來防止過擬合的，但當模型出現欠擬合，需要有針對性的減小正則化。