---

前言

提示：這裡可以新增本文要記錄的大概內容：
例如：隨著人工智慧的不斷髮展，機器學習這門技術也越來越重要，很多人都開啟了學習機器學習，本文就介紹了機器學習的基礎內容。

---

提示：以下是本篇文章正文內容，下面案例可供參考

一、方差的偏差的解釋

期望值與真實值之間的波動程度，衡量的是穩定性
期望值與真實值之間的一致差距，衡量的是準確性

如圖所示，圖中的藍色點位預測結果，越靠近靶心越準備。對於預測結果的性質描述：
圖一：低偏差第方差
圖二：低偏差高方差
圖三：低偏差高方差
圖四：高偏差高方差

優化監督學習=優化模型的泛化誤差，模型的泛化誤差可分解為偏差、方差與噪聲之和 Err = bias + var + irreducible error

二、什麼情況下引發高方差？

過高複雜度的模型，對訓練集進行過擬合
帶來的後果就是在訓練集合上效果非常好，但是在校驗集合上效果極差
更加形象的理解就是用一條高次方程去擬合線性資料

如何解決高方差問題？

在模型複雜程度不變的情況下，增加更多資料
在資料量不變的情況下，減少特徵維度
在資料和模型都不變的情況下，加入正則化

以上方法是否一定有效？

增加資料如果和原資料分佈一致，無論增加多少必定解決不了高方差
減少的特徵維度如果是共線性的維度，對原模型沒有任何影響
正則化通常都是有效的

---

三、什麼情況下引發高偏差？

模型不準確
訓練集的資料質量不高

如何解決高偏差問題？

嘗試獲得更多的特徵
從資料入手，進行特徵交叉，或者特徵的embedding化
嘗試增加多項式特徵
從模型入手，增加更多線性及非線性變化，提高模型的複雜度
嘗試減少正則化程度λ

以上方法是否一定有效？

特徵越稀疏，高方差的風險越高
正則化通常都是有效的

ps

神經網路的擬合能力非常強，因此它的訓練誤差（偏差）通常較小； 但是過強的擬合能力會導致較大的方差，使模型的測試誤差（泛化誤差）增大； 因此深度學習的核心工作之一就是研究如何降低模型的泛化誤差，這類方法統稱為正則化方法。

dropout
dense中的normalization
資料的shuffle