本章講述了機器學習中如何解決過擬合問題——正則化。講述了正則化的作用以及線上性迴歸和邏輯迴歸是怎麼參與到梯度優化中的。
更多內容參考 機器學習&深度學習
在訓練過程中，在訓練集中有時效果比較差，我們叫做欠擬合；有時候效果過於完美，在測試集上效果很差，我們叫做過擬合。因為欠擬合和過擬合都不能良好的反應一個模型應用新樣本的能力，因此需要找到辦法解決這個問題。
想要解決這個問題，有兩個辦法：
1 減少特徵的數量，可以通過一些特徵選擇的方法進行篩選。
2 正則化，通過引入一個正則項，限制引數的大小。
比如下面的曲線，針對高次項的引數，在後面多加一項乘以1000。這樣在優化損失函式的時候，會強制θ3和θ4不會很大，並且趨近於0，只有這樣才會保證損失函式的值足夠小。
得到的公式如下，注意只會針對x1開始，θ0相當於只是針對偏置項設定的，因此不需要加正則項。
但是如果λ設定的過大，相當於所有的θ都變成了0，損失函式的曲線相當於一條直線，就沒有任何意義了，因此選擇適合的λ很重要，後面也會講解如何選擇正確的λ。
新增正則項之後，梯度下降的公式就發生了變化：
