資料的預處理是資料分析,或者機器學習訓練前的重要步驟。
透過資料預處理,可以
- 提高資料質量,處理資料的缺失值、異常值和重複值等問題,增加資料的準確性和可靠性
- 整合不同資料,資料的來源和結構可能多種多樣,分析和訓練前要整合成一個資料集
- 提高資料效能,對資料的值進行變換,規約等(比如無量綱化),讓演演算法更加高效
本篇介紹的資料縮放處理,主要目的是消除資料的不同特徵之間的量綱差異,使得每個特徵的數值範圍相同。這樣可以避免某些特徵對模型的影響過大,從而提高模型的效能。
1. 原理
資料縮放有多種方式,其中有一種按照最小值-最大值縮放的演演算法是最常用的。
其主要步驟如下:
- 計算資料列的最小值(
min
)和最大值(max
) - 對資料列中的每個值進行最小-最大縮放,即將其轉換為 **[0,1]區間 **之內的一個值
縮放公式為:\(new\_data = \frac{data -min}{max-min}\)
實現縮放的程式碼如下:
# 資料縮放的實現原理
data = np.array([10, 20, 30, 40, 50])
min = np.min(data)
max = np.max(data)
data_new = (data - min) / (max-min)
print("處理前: {}".format(data))
print("處理後: {}".format(data_new))
# 執行結果
處理前: [10 20 30 40 50]
處理後: [0. 0.25 0.5 0.75 1. ]
數值被縮放到 **[0,1]區間 **之內。
這個示例只是為了演示縮放的過程,實際場景中最好使用scikit-learn
庫中的函式。
scikit-learn
中的minmax_scale
函式是封裝好的資料縮放函式。
from sklearn import preprocessing as pp
data = np.array([10, 20, 30, 40, 50])
pp.minmax_scale(data, feature_range=(0, 1))
# 執行結果
array([0. , 0.25, 0.5 , 0.75, 1. ])
使用scikit-learn
中的minmax_scale
函式得到的結果是一樣的,資料也被壓縮到 **[0,1]區間 **之內。
所以 資料縮放 的這個操作有時也被稱為歸一化。
不過,資料縮放不一定非得把資料壓縮到 **[0,1]區間 **之內,
透過調整feature_range
引數,可以把資料壓縮到任意的區間。
# 壓縮到[0, 1]
print(pp.minmax_scale(data, feature_range=(0, 1)))
# 壓縮到[-1, 1]
print(pp.minmax_scale(data, feature_range=(-1, 1)))
# 壓縮到[0, 5]
print(pp.minmax_scale(data, feature_range=(0, 5)))
# 執行結果
[0. 0.25 0.5 0.75 1. ]
[-1. -0.5 0. 0.5 1. ]
[0. 1.25 2.5 3.75 5. ]
2. 作用
資料縮放的作用主要有:
2.1. 統一資料尺度
透過縮放處理,將不同量綱、不同尺度、不同單位的資料轉換成一個統一的尺度,
避免由於資料量綱不一致而導致的資料分析結果失真或誤導。
2.2. 增強資料可比性
透過縮放處理,將不同量綱、不同尺度、不同單位的資料轉換成一個統一的尺度,使得不同資料之間的比較更加方便和有意義。
例如,在評價多個樣本的效能時,如果採用不同的量綱、不同尺度、不同單位進行比較,會導致比較結果不準確甚至誤導。
透過統一的縮放處理之後,可以消除這種影響,使得比較結果更加準確可信。
2.3. 增強資料穩定性
透過縮放處理,將資料的數值範圍調整到一個相對較小的區間內,
增加資料的穩定性,避免由於資料分佈範圍過大或過小而導致的分析誤差或計算誤差。
2.4. 提高演演算法效率和精度
透過縮放處理,使得一些計算演演算法的效率和精度得到提高。
例如,在神經網路演演算法中,如果輸入資料的尺度過大或過小,會導致演演算法訓練時間過長或過短,同時也會影響演演算法的精度和穩定性。
而縮放處理之後,就可以使演演算法的訓練時間和精度得到最佳化。
3. 總結
在scikit-learn
庫中,處理資料縮放不是隻有上面的最小值-最大值縮放,
還可用StandardScaler
進行標準化縮放;用RobustScaler
實現尺度縮放和平移等等。
進行資料縮放時,需要注意一點,就是縮放處理對異常值非常敏感,
如果資料中存在極大或者極小的異常值時,有可能會破壞原始資料本身。
所以,縮放處理前,最好把異常值過濾掉。