神經網路損失函式中的正則化項L1和L2

正則化描述：

L2正則化是指權值向量w中各個元素的平方和然後再求平方根;

一般都會在正則化項之前新增一個係數，這個係數需要使用者設定，係數越大，正則化作用越明顯。

正則化作用：

何為稀疏矩陣

神經網路中輸入的特徵數量是龐大的，如何選取有效的特徵進行分類是神經網路的重要任務之一，如果神經網路是一個稀疏模型，表示只有少數有效的特徵（係數非0）可以通過網路，絕大多數特徵會被濾除（係數為0），這些被濾除的特徵就是對模型沒有貢獻的“無關”特徵，而少數係數是非0值的特徵是我們需要額外關注的有效特徵。也就是說，稀疏矩陣可以用於特徵選擇。

假設有如下帶L1正則化的損失函式：

Loss_0是原始損失函式，L1是加的正則化項，α 是正則化係數，其中 L1 是 模型中權重 w 的絕對值之和。

對於最簡單的情況，假設模型中只有兩個權值 w1 和 w2 ，對於梯度下降法，可以分別畫出求解 Loss_0 和 L1 過程中的等值線，如下圖：

等值線是說在等值線上任一點處（取不同的w1和w2組合），模型計算的結果都是一樣的。

圖中彩色弧線是Loss_0的等值線，黑色方框是 L1的等值線。在圖中，當Loss_0等值線與L1圖形首次相交的地方就是一個最優解，這個相交的點剛好是L1的頂點。

注意到L1函式有很多個突出的點，二維情況下有4個，維數越多頂點越多，這些突出的點會比線段上的點有更大的機率首先接觸到 Loss_0的等值線，而這些頂點正好對應有很多權值為0的矩陣， 即稀疏矩陣，這也就是為什麼L1正則化可以用來產生稀疏矩陣進而用來進行特徵選擇的原因。

仍以最簡單的模型，只有兩個權重w1 和 w2為例，Loss_0和L2分別對應的等值線形狀如下圖：

由於L2是w1和w2平方和再開方，所以L2的圖形是一個圓。圓形相對方形來說沒有頂點，Loss_0 和 L2圖形相交使得 w1或者w2等於的概率大大減小，所以L2正則化項不適合產生稀疏矩陣，不適合用來選擇特徵。

相對來說，模型中所有矩陣係數都比較小的模型具有更強的抗干擾能力，也就是說可以避免過擬合。對於這種小系數的模型，特徵會乘以很小的係數，使得特徵的波動被壓縮，所以泛化能力更好。

L2正則化項的公式是所有權重係數平方之後再開方，所以在每次迭代過程中， 都會使得權重係數在滿足最小化Loss_0的基礎上，一步一步使得權重係數w1和w2趨向於0，最終得到權重係數很小的矩陣模型，達到防止過擬合的作用。

L1和L2中的α係數的作用是類似的，α係數越大，正則化作用越明顯（但同時也可能意味著模型越難以收斂），從等值圖上直觀看就是L圖形越小，對應矩陣係數越小。