AI學習筆記——Bias and Variance tradeoff (方差偏差的平衡)

上一篇文章介紹了機器學習中需要理解的幾個重要概念，這些概念在訓練模型的過程中至關重要，尤其是Bias 和 Variance 的分析，關係到在機器學習的過程的實際操作中，如何優化訓練模型。

1、Bias and Variance tradeoff的最簡單方法

• 當Bias很高的時候，就增加模型的複雜度（比如增加神經網路的神經元個數，神經網路的層數）
• 當Variance很高的時候，就增加訓練的樣本量。

然而以上的原則只是一個大的指導方向，因為在實際操作中增加模型的複雜程度將會大大增加計算機的計算量，而且還容易造成Overfitting。 下面詳細介紹在實際操作中處理Bias 和 Variance 的具體方法。

2、減少Bias的幾大原則

• 增加模型複雜度
• 根據誤差分析結果，調整輸入特徵(feature)
• 減少或者去除Regularization(正則化)
• 修改模型結構
• 增加更多的訓練樣本

3、減少Variance的幾大原則

• 增加更多的訓練樣本
• 增加Regularization(正則化)
• 加入提前終止(Early Stopping)
• 選擇性減少輸入的特徵(Features)
• 減小模型規模
• 根據誤差分析結果，調整輸入特徵(feature)
• 修改模型結構

有上面的分析可見，有些策略對減少Bias 和 Variance 都同時有用的，比如增加更多的訓練樣本；根據誤差分析結果，調整輸入特徵(feature)；修改模型結構。然而有些策略對於減少Bias 或 Variance是相互矛盾的。

本筆記參考自人工智慧大神 Andrew Ng（吳恩達） 的相關課程 ，在這裡表示感謝和致敬。

————
相關文章
AI學習筆記——迴圈神經網路（RNN）的基本概念
AI學習筆記——神經網路和深度學習
AI學習筆記——卷積神經網路1（CNN）
————
文章首發steemit.com 為了方便牆內閱讀，搬運至此，歡迎留言或者訪問我的Steemit主頁