機器學習中的正則化到底是什麼意思？

是否：

經常在各種文章或資料中看到正則化，但一直沒有一篇好的文章理清到底什麼是正則化？

說到正則化，得先從過擬合問題開始談起。

1)  The Problem of Overfitting(過擬合問題)

擬合問題舉例-線性迴歸之房價問題：

a) 欠擬合(underfit, 也稱High-bias，圖片來源：史丹佛大學機器學習第七課“正則化”)

 

b) 合適的擬合：

 

c) 過擬合(overfit,也稱High variance)

 

什麼是過擬合(Overfitting):

如果我們有非常多的特徵，那麼所學的Hypothesis有可能對訓練集擬合的非常好(

)，但是對於新資料預測的很差。

過擬合例子2-邏輯迴歸：

與上一個例子相似，依次是欠擬合，合適的擬合以及過擬合：

a) 欠擬合

 

b) 合適的擬合

 

c) 過擬合

 

如何解決過擬合問題：

首先，過擬合問題往往源自過多的特徵，例如房價問題，如果我們定義瞭如下的特徵：

 

那麼對於訓練集，擬合的會非常完美：

 

所以針對過擬合問題，通常會考慮兩種途徑來解決：

a) 減少特徵的數量：

-人工的選擇保留哪些特徵；

-模型選擇演算法

b) 正則化

-保留所有的特徵，但是降低引數的量/值；

-正則化的好處是當特徵很多時，每一個特徵都會對預測y貢獻一份合適的力量；

所以說，使用正則化的目的就是為了是為了防止過擬合。

如上圖所示，紅色這條想象力過於豐富上下橫跳的曲線就是過擬合情形。結合上圖和正則化的英文，直譯應該叫規則化。

什麼是規則？比如明星再紅也不能違法，這就是規則，一個限制。同理，規劃化就是給需要訓練的目標函式加上一些規則（限制），讓它們不要自我膨脹，不要過於上下無規則的橫跳，不能無法無天。

 

L1正則化和L2正則化

機器學習中幾乎都可以看到損失函式後面會新增一個額外項，常用的額外項一般有兩種，一般英文稱作ℓ1-norm和ℓ2-norm，中文稱作L1正則化和L2正則化，或者L1範數和L2範數。

L1正則化和L2正則化可以看做是損失函式的懲罰項。所謂『懲罰』是指對損失函式中的某些引數做一些限制。

對於線性迴歸模型，使用L1正則化的模型建叫做Lasso迴歸，使用L2正則化的模型叫做Ridge迴歸（嶺迴歸）。

下圖是Python中Lasso迴歸的損失函式，式中加號後面一項α||w||1即為L1正則化項。

 

下圖是Python中Ridge迴歸的損失函式，式中加號後面一項 即為L2正則化項。

 

一般迴歸分析中迴歸w表示特徵的係數，從上式可以看到正則化項是對係數做了處理（限制）。L1正則化和L2正則化的說明如下：

L1正則化是指權值向量w中各個元素的絕對值之和，通常表示為 

L2正則化是指權值向量w中各個元素的平方和然後再求平方根（可以看到Ridge迴歸的L2正則化項有平方符號），通常表示為

 

一般都會在正則化項之前新增一個係數，Python中用α表示，一些文章也用λ表示。這個係數需要使用者指定。

那新增L1和L2正則化有什麼用？

L1正則化可以產生稀疏權值矩陣，即產生一個稀疏模型，可以用於特徵選擇

L2正則化可以防止模型過擬合（overfitting）。當然，一定程度上，L1也可以防止過擬合

稀疏模型與特徵選擇

上面提到L1正則化有助於生成一個稀疏權值矩陣，進而可以用於特徵選擇。為什麼要生成一個稀疏矩陣？

稀疏矩陣指的是很多元素為0，只有少數元素是非零值的矩陣，即得到的線性迴歸模型的大部分系數都是0. 通常機器學習中特徵數量很多，例如文字處理時，如果將一個片語（term）作為一個特徵，那麼特徵數量會達到上萬個（bigram）。

在預測或分類時，那麼多特徵顯然難以選擇，但是如果代入這些特徵得到的模型是一個稀疏模型，表示只有少數特徵對這個模型有貢獻，絕大部分特徵是沒有貢獻的，或者貢獻微小（因為它們前面的係數是0或者是很小的值，即使去掉對模型也沒有什麼影響），此時我們就可以只關注係數是非零值的特徵。這就是稀疏模型與特徵選擇的關係。

L1正則化和特徵選擇

假設有如下帶L1正則化的損失函式： 

 

其中J0是原始的損失函式，加號後面的一項是L1正則化項，α是正則化係數。注意到L1正則化是權值的絕對值之和，J是帶有絕對值符號的函式，因此J是不完全可微的。

機器學習的任務就是要通過一些方法（比如梯度下降）求出損失函式的最小值。當我們在原始損失函式J0後新增L1正則化項時，相當於對J0做了一個約束。令L=α∑w|w|，則J=J0+L，此時我們的任務變成在L約束下求出J0取最小值的解。

考慮二維的情況，即只有兩個權值w1和w2，此時L=|w1|+|w2|對於梯度下降法，求解J0的過程可以畫出等值線，同時L1正則化的函式L也可以在w1w2的二維平面上畫出來。

如下圖：

 

圖中等值線是J0的等值線，黑色方形是L函式的圖形。

在圖中，當J0等值線與LL圖形首次相交的地方就是最優解。上圖中J0與L在L的一個頂點處相交，這個頂點就是最優解。注意到這個頂點的值是(w1,w2)=(0,w)。可以直觀想象，因為L函式有很多『突出的角』（二維情況下四個，多維情況下更多），J0與這些角接觸的機率會遠大於與L其它部位接觸的機率，而在這些角上，會有很多權值等於0，這就是為什麼L1正則化可以產生稀疏模型，進而可以用於特徵選擇。

而正則化前面的係數α，可以控制L圖形的大小。α越小，L的圖形越大（上圖中的黑色方框）；α越大，L的圖形就越小，可以小到黑色方框只超出原點範圍一點點，這是最優點的值(w1,w2)=(0,w)中的w可以取到很小的值。

類似，假設有如下帶L2正則化的損失函式： 

 

同樣可以畫出他們在二維平面上的圖形，如下：

 

二維平面下L2正則化的函式圖形是個圓，與方形相比，被磨去了稜角。因此J0與L相交時使得w1或w2等於零的機率小了許多，這就是為什麼L2正則化不具有稀疏性的原因。

PRML一書對這兩個圖是這麼解釋的

 

上圖中的模型是線性迴歸，有兩個特徵，要優化的引數分別是w1和w2，左圖的正則化是L2，右圖是L1。藍色線就是優化過程中遇到的等高線，一圈代表一個目標函式值，圓心就是樣本觀測值（假設一個樣本），半徑就是誤差值，受限條件就是紅色邊界（就是正則化那部分），二者相交處，才是最優引數。

可見右邊的最優引數只可能在座標軸上，所以就會出現0權重引數，使得模型稀疏。

L2正則化和過擬合

擬合過程中通常都傾向於讓權值儘可能小，最後構造一個所有引數都比較小的模型。因為一般認為引數值小的模型比較簡單，能適應不同的資料集，也在一定程度上避免了過擬合現象。

可以設想一下對於一個線性迴歸方程，若引數很大，那麼只要資料偏移一點點，就會對結果造成很大的影響；但如果引數足夠小，資料偏移得多一點也不會對結果造成什麼影響，專業一點的說法是『抗擾動能力強』。

那為什麼L2正則化可以獲得值很小的引數？

以線性迴歸中的梯度下降法為例。假設要求的引數為θ，hθ(x)是我們的假設函式，那麼線性迴歸的代價函式如下：

 

那麼在梯度下降法中，最終用於迭代計算引數θ的迭代式為： 

 

其中α是learning rate. 上式是沒有新增L2正則化項的迭代公式，如果在原始代價函式之後新增L2正則化，則迭代公式會變成下面的樣子：

 

其中λ就是正則化引數。從上式可以看到，與未新增L2正則化的迭代公式相比，每一次迭代，θj都要先乘以一個小於1的因子，從而使得θj不斷減小，因此總得來看，θ是不斷減小的。

最開始也提到L1正則化一定程度上也可以防止過擬合。之前做了解釋，當L1的正則化係數很小時，得到的最優解會很小，可以達到和L2正則化類似的效果。

最後再補充一個角度：正則化其實就是對模型的引數設定一個先驗，這是貝葉斯學派的觀點。L1正則是laplace先驗，l2是高斯先驗，分別由引數sigma確定。在資料少的時候，先驗知識可以防止過擬合。

舉兩個最簡單的例子。

1 拋硬幣，推斷正面朝上的概率。如果只能拋5次，很可能5次全正面朝上，這樣你就得出錯誤的結論：正面朝上的概率是1--------過擬合！如果你在模型里加正面朝上概率是0.5的先驗，結果就不會那麼離譜。這其實就是正則。

2. 最小二乘迴歸問題：加L2範數正則等價於加了高斯分佈的先驗，加L1範數正則相當於加拉普拉斯分佈先驗。

參考文獻：

1 史丹佛大學機器學習第七課"正則化“學習筆記：http://52opencourse.com/133/courseraå¬å¼è¯¾ç¬è®°-æ¯å¦ç¦å¤§å¬¦æºå¨å¬¦ä¹ 第ä¸è¯¾-欣åå-regularization

2 機器學習中正則化項L1和L2的直觀理解：https://blog.csdn.net/jinping_shi/article/details/52433975

3 https://www.zhihu.com/question/20924039

4 機器學習中使用正則化來防止過擬合是什麼原理？https://www.zhihu.com/question/20700829

5 七月線上機器學習第九期 第1課 迴歸問題與應用：https://www.julyedu.com/course/getDetail/110

6 L1正則化與L2正則化：https://zhuanlan.zhihu.com/p/35356992

因為機器學習是一門實戰性極強的學科，所以看一個課程是否有真正的工業實戰，一看講師團隊是否是公司裡多年實際帶隊做機器學習的，二看教學理念/側重。

第一方面，本課程的所有講師均全部來自BAT + Google的一線技術大咖親自授課，是真正工業人士授課的工業課程，幫助學員實際理解這些機器學習理論模型演算法到底是如何應用在工業實踐中的。

第二方面，如上所說，網上視訊很多，但由於沒有個性化的內容、輔導、答疑，導致不少初學者看再多視訊，視訊看再多次，都是迷迷糊糊、不成體系，故本課程除了直播答疑之外，首次新增每週作業和階段考試，且作業和考試均一對一批改，更針對性的提供面試輔導、推薦就業，助力找/換工作和升職加薪。

機器學習第九期課程詳情可點選文末“閱讀原文”進行檢視，或者加微信客服：julyedukefu_02進行諮詢。