【scikit-learn基礎】--『預處理』之 資料縮放

wang_yb發表於2023-12-15

資料的預處理是資料分析,或者機器學習訓練前的重要步驟。
透過資料預處理,可以

  • 提高資料質量,處理資料的缺失值、異常值和重複值等問題,增加資料的準確性和可靠性
  • 整合不同資料,資料的來源和結構可能多種多樣,分析和訓練前要整合成一個資料集
  • 提高資料效能,對資料的值進行變換,規約等(比如無量綱化),讓演演算法更加高效

本篇介紹的資料縮放處理,主要目的是消除資料的不同特徵之間的量綱差異,使得每個特徵的數值範圍相同。這樣可以避免某些特徵對模型的影響過大,從而提高模型的效能。

1. 原理

資料縮放有多種方式,其中有一種按照最小值-最大值縮放的演演算法是最常用的。
其主要步驟如下:

  1. 計算資料列的最小值(min)和最大值(max
  2. 對資料列中的每個值進行最小-最大縮放,即將其轉換為 **[0,1]區間 **之內的一個值

縮放公式為:\(new\_data = \frac{data -min}{max-min}\)

實現縮放的程式碼如下:

# 資料縮放的實現原理

data = np.array([10, 20, 30, 40, 50])
min = np.min(data)
max = np.max(data)

data_new = (data - min) / (max-min)

print("處理前: {}".format(data))
print("處理後: {}".format(data_new))

# 執行結果
處理前: [10 20 30 40 50]
處理後: [0.   0.25 0.5  0.75 1.  ]

數值被縮放到 **[0,1]區間 **之內。
這個示例只是為了演示縮放的過程,實際場景中最好使用scikit-learn庫中的函式。

scikit-learn中的minmax_scale函式是封裝好的資料縮放函式。

from sklearn import preprocessing as pp

data = np.array([10, 20, 30, 40, 50])
pp.minmax_scale(data, feature_range=(0, 1))

# 執行結果
array([0.  , 0.25, 0.5 , 0.75, 1.  ])

使用scikit-learn中的minmax_scale函式得到的結果是一樣的,資料也被壓縮到 **[0,1]區間 **之內。
所以 資料縮放 的這個操作有時也被稱為歸一化

不過,資料縮放不一定非得把資料壓縮到 **[0,1]區間 **之內,
透過調整feature_range引數,可以把資料壓縮到任意的區間。

# 壓縮到[0, 1]
print(pp.minmax_scale(data, feature_range=(0, 1)))

# 壓縮到[-1, 1]
print(pp.minmax_scale(data, feature_range=(-1, 1)))

# 壓縮到[0, 5]
print(pp.minmax_scale(data, feature_range=(0, 5)))

# 執行結果
[0.   0.25 0.5  0.75 1.  ]
[-1.  -0.5  0.   0.5  1. ]
[0.   1.25 2.5  3.75 5.  ]

2. 作用

資料縮放的作用主要有:

2.1. 統一資料尺度

透過縮放處理,將不同量綱、不同尺度、不同單位的資料轉換成一個統一的尺度,
避免由於資料量綱不一致而導致的資料分析結果失真或誤導。

2.2. 增強資料可比性

透過縮放處理,將不同量綱、不同尺度、不同單位的資料轉換成一個統一的尺度,使得不同資料之間的比較更加方便和有意義。
例如,在評價多個樣本的效能時,如果採用不同的量綱、不同尺度、不同單位進行比較,會導致比較結果不準確甚至誤導。
透過統一的縮放處理之後,可以消除這種影響,使得比較結果更加準確可信。

2.3. 增強資料穩定性

透過縮放處理,將資料的數值範圍調整到一個相對較小的區間內,
增加資料的穩定性,避免由於資料分佈範圍過大或過小而導致的分析誤差或計算誤差。

2.4. 提高演演算法效率和精度

透過縮放處理,使得一些計算演演算法的效率和精度得到提高。
例如,在神經網路演演算法中,如果輸入資料的尺度過大或過小,會導致演演算法訓練時間過長或過短,同時也會影響演演算法的精度和穩定性。
而縮放處理之後,就可以使演演算法的訓練時間和精度得到最佳化。

3. 總結

scikit-learn庫中,處理資料縮放不是隻有上面的最小值-最大值縮放
還可用StandardScaler進行標準化縮放;用RobustScaler實現尺度縮放和平移等等。

進行資料縮放時,需要注意一點,就是縮放處理對異常值非常敏感,
如果資料中存在極大或者極小的異常值時,有可能會破壞原始資料本身。
所以,縮放處理前,最好把異常值過濾掉。

相關文章