資料的預處理是資料分析,或者機器學習訓練前的重要步驟。
透過資料預處理,可以
- 提高資料質量,處理資料的缺失值、異常值和重複值等問題,增加資料的準確性和可靠性
- 整合不同資料,資料的來源和結構可能多種多樣,分析和訓練前要整合成一個資料集
- 提高資料效能,對資料的值進行變換,規約等(比如無量綱化),讓演算法更加高效
本篇介紹的正則化處理,主要功能是對每個樣本計算其範數,然後對該樣本中每個元素除以該範數,
這樣處理的結果是使得每個處理後樣本的範數(如l1-norm、l2-norm)等於1。
1. 原理
介紹正則化之前,先簡單介紹下範數的概念。
1.1. 範數
範數常被用來度量某個向量空間(或矩陣)中的每個向量的長度或大小,
可以簡單理解為向量的長度,或者向量到零點的距離,或者相應的兩個點之間的距離。
對於向量(\(x = [x_1, x_2, ...,x_m]\)),常見的範數有:
- L1範數,向量元素絕對值之和,x 到零點的曼哈頓距離(\(\parallel x \parallel_1=\sum_{i=1}^m \mid x_{i}\mid\))
- L2範數,向量元素絕對值的平方和再開方,表示x到零點的歐式距離(\(\parallel x \parallel_2=\sqrt{\sum_{i=1}^m \mid x_{i}^2\mid}\))
- p-範數,向量元素絕對值的p次方和的1/p次冪,表示x到零點的p階閔氏距離(\(\parallel x \parallel_p=(\sum_{i=1}^m \mid x_{i}\mid^p)^\frac{1}{p}\))
- 無窮範數,所有向量元素絕對值中的最大值(\(\parallel x \parallel_{\infty}=max_i\mid x_i \mid\))
- 等等。
numpy中已經提供了計算向量範數的函式。
import numpy as np
# 範數計算
arr = np.random.randint(0, 100, 10)
print("向量: {}".format(arr))
L1 = np.linalg.norm(arr, 1)
print("L1範數: {}".format(L1))
L2 = np.linalg.norm(arr, 2)
print("L2範數: {}".format(L2))
LInf = np.linalg.norm(arr, np.inf)
print("無窮範數: {}".format(LInf))
# 執行結果
向量: [12 22 30 75 20 28 38 72 2 33]
L1範數: 332.0
L2範數: 126.72016414130783
無窮範數: 75.0
1.2. 正則化
有了範數的概念之後,再來看正則化,根據選用的範數不同,正則化也分為L1正則化,L2正則化等等。
範數在正則化過程中扮演了重要的角色,被用來限制最佳化引數的大小,幫助防止模型過擬合。
from sklearn import preprocessing as pp
data = np.random.randint(1, 100, size=(3, 3))
L1 = pp.normalize(data, norm="l1")
L2 = pp.normalize(data, norm="l2")
LMax = pp.normalize(data, norm="max")
print("L1正則化: {}".format(L1))
print("L2正則化: {}".format(L2))
print("Max正則化: {}".format(LMax))
# 執行結果
L1正則化:
[[0.29677419 0.09677419 0.60645161]
[0.20408163 0.46938776 0.32653061]
[0.05 0.67 0.28 ]]
L2正則化:
[[0.43510613 0.14188244 0.88912993]
[0.33614632 0.77313654 0.53783412]
[0.06869324 0.92048947 0.38468217]]
Max正則化:
[[0.4893617 0.15957447 1. ]
[0.43478261 1. 0.69565217]
[0.07462687 1. 0.41791045]]
正則化之後,所有的數值都被壓縮到了 0~1之間。
後續介紹機器學習演算法時,可以看到正則化如何緩解訓練結果過擬合的問題。
2. 作用
對資料進行正則化處理的主要作用有:
2.1. 防止過擬合
過擬合是指模型在訓練資料上表現很好,但在測試資料上表現不佳的現象。
主要原因是模型在訓練資料上學習了過多的噪聲和異常值,導致對訓練資料過度擬合。
正則化透過對模型的複雜性進行懲罰,使得模型在訓練資料上表現良好的同時,也能夠對測試資料有較好的預測能力。
2.2. 提升穩定性和魯棒性
穩定性是指模型對於輸入資料的小變化能夠產生可接受的結果。
也就是說,如果輸入資料在一定範圍內發生微小變化,模型的輸出結果也會相應地按照相同的排列順序發生微小變化,而不是發生較大的顛覆性變化。
而魯棒性則是指模型在一定條件下對於某些效能的保持能力。
也就是說,當輸入資料中存在噪聲、異常值或不完全資訊時,模型能夠透過適當的處理和演算法,保持其原有的效能表現,不會因為這些干擾因素而出現大幅度效能下降。
在實際應用中,穩定性和魯棒性往往是相互制約的。
過於強調穩定性可能導致模型過於簡單,無法處理複雜的資料特徵;
而過於強調魯棒性可能導致模型過於複雜,容易受到噪聲和異常值的影響。
因此,需要根據實際應用場景和資料特點來權衡考慮這兩種效能指標,以實現最優的效能表現。
正則化可以透過對模型的複雜性進行懲罰,使得模型對於輸入資料的小變化不會產生太大的影響,從而提高了模型的穩定性和魯棒性。
2.3. 提高泛化能力
泛化能力是指模型在未曾見過的資料上的表現能力,也就是模型對於新的資料的適應能力。
正則化可以透過對模型的複雜性進行懲罰,使得模型更加專注於訓練資料中的重要特徵,而不是被訓練資料中的噪聲和異常值所迷惑。
這樣可以在一定程度上提高模型的泛化能力,使得模型在未知資料上的表現更好。
3. 總結
在scikit-learn
中,主要有三種正則化方法,L1正則化,L2正則化和Max正則化。
實際應用中,根據資料的特徵和場景對資料選擇不同的正則化方法,使得訓練後的模型能夠有更好的精度和效能。