深度學習(6)——預處理Preprocessing

schedule list發表於2020-12-14

Preprocessing

預處理的目的

消除zigzag現象:
因為隨機梯度下降每一次的下降梯度都是由資料集中的一個樣本計算得來的,因為資料的一些特性不可能完全一致,因此會計算出不同的下降方向,所以在全域性看來會導致振盪。
舉個極端的例子,x1取值0.5, x2取值1000,x3取值0.4,x4取值1500……
在這裡插入圖片描述
那麼梯度下降就會由於資料的差距太大導致斜率也很大,來回震盪,導致收斂速度過慢或者不易收斂。
在這裡插入圖片描述
方法是進行歸一化,常用的有以下兩種方式:
1.減均值除方差,得X~N(0,1)
在這裡插入圖片描述

2.減最小值除最大值最小值之差,標準化,對X進行放縮

在這裡插入圖片描述

相關文章