寫在前面:該篇文章的內容以及相關程式碼(程式碼在最後),都是我親自手敲出來的,相關結論分析也是花了挺長時間做出來的,如需轉載該文章,請務必先聯絡我,在後臺留言即可。
在深度學習中,神經網路的權重初始化方式非常重要,其對模型的收斂速度和效能有著較大的影響。一個好的權值初始值有以下優點:
- 梯度下降的收斂速度較快
- 深度神經中的網路模型不易陷入梯度消失或梯度爆炸問題
該系列共兩篇文章,我們主要討論以下兩個話題:
- 為什麼線上性迴歸和邏輯迴歸中可以採用0初始化,而在神經網路中不能採用(實際上不光是0初始化,將權值初始化為任意相同值,都很有可能使模型失效);
- 常用的三種權值初始化方法:隨機初始化、Xavier initialization、He initialization
在這一篇文章中,我們主要談論第一個話題
0 初始化
線上性迴歸和邏輯迴歸中,我們通常把權值 w 和偏差項 b 初始化為0,並且我們的模型也能取得較好的效果。線上性迴歸和邏輯迴歸中,我們採用下面的程式碼將權值初始化為0(tensorflow框架下):
w = tf.Variable([[0,0,0]],dtype=tf.float32,name='weights')
b = tf.Variable(0,dtype=tf.float32,name='bias')
但是,當在神經網路中的權值全部都使用 0 初始化時,模型無法正常工作了。
原因是:在神經網路中因為存在隱含層。我們假設模型的輸入為[x1,x2,x3],隱含層數為1,隱含層單元數為2,輸出為 y ,模型如下圖所示:
則通過正向傳播計算之後,可得:
z1 = w10 * x0 + w11 * x1 + w12 * x2 +w13 * x3
z2 = w20 * x0 + w21 * x1 + w22 * x2 +w23 * x3
在所有的權值 w 和偏差值 b (可以看做是w10)初始化為 0 的情況下,即計算之後的 z1 和 z2 都等於0
那麼由於 a1 = g(z1) 、a2 = g(z2),經過啟用函式之後得到的 a1 和 a2 也肯定是相同的數了,即 a1 = a2 = g(z1)
則輸出層:y = g(w20 * a0 + w21 * a1 + w22 *a2 ) 也是固定值了。
重點:在反向傳播過程中,我們使用梯度下降的方式來降低損失函式,但在更新權值的過程中,代價函式對不同權值引數的偏導數相同 ,即Δw相同,因此在反向傳播更新引數時:
w21 = 0 + Δw
w22 = 0 + Δw
實際上使得更新之後的不同節點的引數相同,同理可以得到其他更新之後的引數也都是相同的,不管進行多少輪的正向傳播和反向傳播,得到的引數都一樣!因此,神經網路就失去了其特徵學習的能力。
在神經網路中使用0 初始化的效果
我們來看一下使用 0 初始化會出現什麼樣的情況:
我們使用MNIST手寫數字資料集進行測試:手寫資料集是影像處理和機器學習研究最多的資料集之一,在深度學習的發展中起到了重要的作用。
我們看一下使用權值 0 初始化的神經網路訓練並測試該資料集的結果:
- 在100次的迭代中,每一次迭代,損失值都沒有變化
- 模型檢測的準確度為11.35%,幾乎完全沒有檢測出來
總結一下:在神經網路中,如果將權值初始化為 0 ,或者其他統一的常量,會導致後面的啟用單元具有相同的值,所有的單元相同意味著它們都在計算同一特徵,網路變得跟只有一個隱含層節點一樣,這使得神經網路失去了學習不同特徵的能力!
如果這篇文章幫助到了你,或者你有任何問題,歡迎掃碼關注微信公眾號:一刻AI 在後臺留言即可,讓我們一起學習一起進步!
程式碼如下:
# -*- coding: utf-8 -*- """ Created on Wed May 8 08:25:40 2019 @author: Li Kangyu """ import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data from tensorflow.contrib.learn.python.learn.datasets.mnist import read_data_sets import time # 資料集下載地址:http://yann.lecun.com/exdb/mnist/ MINIBATCH_SIZE = 100 NUM_HD = 100 data = read_data_sets('MNIST_DATA',one_hot=True) x = tf.placeholder(tf.float32,[None,784]) y_true = tf.placeholder(tf.float32,[None,10]) def nn_model(x): hidden_layer = { 'w':tf.Variable(tf.zeros([784,NUM_HD])), 'b':tf.Variable(tf.zeros([NUM_HD])) } output_layer = { 'w':tf.Variable(tf.zeros([NUM_HD,10])), 'b':tf.Variable(tf.zeros([10])) } z1 = tf.matmul(x,hidden_layer['w']) + hidden_layer['b'] a1 = tf.nn.relu(z1) output = tf.matmul(a1,output_layer['w']) + output_layer['b'] return output def train_nn(x): y_pred = nn_model(x) cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_pred,labels=y_true)) optimizer = tf.train.AdamOptimizer().minimize(cost) correct_mask = tf.equal(tf.argmax(y_pred,1),tf.argmax(y_true,1)) accuracy = tf.reduce_mean(tf.cast(correct_mask,tf.float32)) NUM_STEPS = 100 with tf.Session() as sess: sess.run(tf.initialize_all_variables()) for epoch in range(NUM_STEPS): epoch_loss = 0 num_minibatch = int(data.train.num_examples/MINIBATCH_SIZE) for _ in range(num_minibatch): batch_xs,batch_ys = data.train.next_batch(MINIBATCH_SIZE) _,loss = sess.run([optimizer,cost],feed_dict={x:batch_xs,y_true:batch_ys}) epoch_loss += loss / num_minibatch if epoch % 10 ==0: print("Epoch = ",epoch,"loss = ",epoch_loss) ans = sess.run(accuracy,feed_dict={x:data.test.images, y_true:data.test.labels}) print("Accuracy:{:.4}%".format(ans*100)) train_nn(x)