【scikit-learn基礎】--『預處理』之 正則化

wang_yb發表於2023-12-18

資料的預處理是資料分析，或者機器學習訓練前的重要步驟。
透過資料預處理，可以

  • 提高資料質量，處理資料的缺失值、異常值和重複值等問題，增加資料的準確性和可靠性
  • 整合不同資料，資料的來源和結構可能多種多樣，分析和訓練前要整合成一個資料集
  • 提高資料效能，對資料的值進行變換，規約等（比如無量綱化），讓演演算法更加高效

本篇介紹的正則化處理，主要功能是對每個樣本計算其範數，然後對該樣本中每個元素除以該範數，
這樣處理的結果是使得每個處理後樣本的範數（如l1-norm、l2-norm）等於1。

1. 原理

介紹正則化之前，先簡單介紹下範數的概念。

1.1. 範數

範數常被用來度量某個向量空間（或矩陣）中的每個向量的長度或大小，
可以簡單理解為向量的長度，或者向量到零點的距離，或者相應的兩個點之間的距離。

對於向量（\(x = [x_1, x_2, ...,x_m]\)），常見的範數有：

  1. L1範數，向量元素絕對值之和，x 到零點的曼哈頓距離（\(\parallel x \parallel_1=\sum_{i=1}^m \mid x_{i}\mid\)）
  2. L2範數，向量元素絕對值的平方和再開方，表示x到零點的歐式距離（\(\parallel x \parallel_2=\sqrt{\sum_{i=1}^m \mid x_{i}^2\mid}\)）
  3. p-範數，向量元素絕對值的p次方和的1/p次冪，表示x到零點的p階閔氏距離（\(\parallel x \parallel_p=(\sum_{i=1}^m \mid x_{i}\mid^p)^\frac{1}{p}\)）
  4. 無窮範數，所有向量元素絕對值中的最大值（\(\parallel x \parallel_{\infty}=max_i\mid x_i \mid\)）
  5. 等等。

numpy中已經提供了計算向量範數的函式。

import numpy as np

# 範數計算

arr = np.random.randint(0, 100, 10)
print("向量: {}".format(arr))

L1 = np.linalg.norm(arr, 1)
print("L1範數: {}".format(L1))
L2 = np.linalg.norm(arr, 2)
print("L2範數: {}".format(L2))

LInf = np.linalg.norm(arr, np.inf)
print("無窮範數: {}".format(LInf))

# 執行結果
向量: [12 22 30 75 20 28 38 72  2 33]
L1範數: 332.0
L2範數: 126.72016414130783
無窮範數: 75.0

1.2. 正則化

有了範數的概念之後，再來看正則化，根據選用的範數不同，正則化也分為L1正則化，L2正則化等等。
範數在正則化過程中扮演了重要的角色，被用來限制最佳化引數的大小，幫助防止模型過擬合。

from sklearn import preprocessing as pp

data = np.random.randint(1, 100, size=(3, 3))
L1 = pp.normalize(data, norm="l1")
L2 = pp.normalize(data, norm="l2")
LMax = pp.normalize(data, norm="max")

print("L1正則化: {}".format(L1))
print("L2正則化: {}".format(L2))
print("Max正則化: {}".format(LMax))

# 執行結果
L1正則化: 
[[0.29677419 0.09677419 0.60645161]
 [0.20408163 0.46938776 0.32653061]
 [0.05       0.67       0.28      ]]

L2正則化:
[[0.43510613 0.14188244 0.88912993]
 [0.33614632 0.77313654 0.53783412]
 [0.06869324 0.92048947 0.38468217]]

Max正則化:
[[0.4893617  0.15957447 1.        ]
 [0.43478261 1.         0.69565217]
 [0.07462687 1.         0.41791045]]

正則化之後，所有的數值都被壓縮到了 0~1之間。
後續介紹機器學習演演算法時，可以看到正則化如何緩解訓練結果過擬合的問題。

2. 作用

對資料進行正則化處理的主要作用有：

2.1. 防止過擬合

過擬合是指模型在訓練資料上表現很好，但在測試資料上表現不佳的現象。
主要原因是模型在訓練資料上學習了過多的噪聲和異常值，導致對訓練資料過度擬合。

正則化透過對模型的複雜性進行懲罰，使得模型在訓練資料上表現良好的同時，也能夠對測試資料有較好的預測能力。

2.2. 提升穩定性和魯棒性

穩定性是指模型對於輸入資料的小變化能夠產生可接受的結果。
也就是說，如果輸入資料在一定範圍內發生微小變化，模型的輸出結果也會相應地按照相同的排列順序發生微小變化，而不是發生較大的顛覆性變化。

而魯棒性則是指模型在一定條件下對於某些效能的保持能力。
也就是說，當輸入資料中存在噪聲、異常值或不完全資訊時，模型能夠透過適當的處理和演演算法，保持其原有的效能表現，不會因為這些干擾因素而出現大幅度效能下降。

在實際應用中，穩定性和魯棒性往往是相互制約的。
過於強調穩定性可能導致模型過於簡單，無法處理複雜的資料特徵；
而過於強調魯棒性可能導致模型過於複雜，容易受到噪聲和異常值的影響。
因此，需要根據實際應用場景和資料特點來權衡考慮這兩種效能指標，以實現最優的效能表現。

正則化可以透過對模型的複雜性進行懲罰，使得模型對於輸入資料的小變化不會產生太大的影響，從而提高了模型的穩定性和魯棒性。

2.3. 提高泛化能力

泛化能力是指模型在未曾見過的資料上的表現能力，也就是模型對於新的資料的適應能力。

正則化可以透過對模型的複雜性進行懲罰，使得模型更加專注於訓練資料中的重要特徵，而不是被訓練資料中的噪聲和異常值所迷惑。
這樣可以在一定程度上提高模型的泛化能力，使得模型在未知資料上的表現更好。

3. 總結

在scikit-learn中，主要有三種正則化方法，L1正則化，L2正則化和Max正則化。
實際應用中，根據資料的特徵和場景對資料選擇不同的正則化方法，使得訓練後的模型能夠有更好的精度和效能。

相關文章