二分類問題 - 【老魚學tensorflow2】

dreampursuer發表於2020-09-23

什麼是二分類問題？

二分類問題就是最終的結果只有好或壞這樣的一個輸出。
比如，這是好的，那是壞的。這個就是二分類的問題。

我們以一個電影評論作為例子來進行。我們對某部電影評論的文字內容為好評和差評。
我們使用IMDB 資料集，它包含來自網際網路電影資料庫（IMDB）的 50 000 條嚴重兩極分化的評論。資料集被分為用於訓練的 25 000 條評論與用於測試的 25 000 條評論，訓練集和測試集都包含 50% 的正面評論和 50% 的負面評論。

載入資料集

import tensorflow.keras as keras
(x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=10000)

引數 num_words=10000 的意思是僅保留訓練資料中前 10 000 個最常出現的單詞。低頻單詞將被捨棄。這樣得到的向量資料不會太大，便於處理。
如果列印出資料結果，會發現x_train中的資料為：
x_train: [1, 14, 22, 16, 43, 530, 973, 1622,...]
y_train中的資料為：
y_train:[1 0 0 ... 0 1 0]

解密資料

對於y_train中的資料我們比較容易猜出來，大概是0表示差評，1表示好評。
而x_train中的這串數字是啥意思呢？

其實這些是單詞的索引，我們先通過如下的語句列印出單詞中的索引內容：

data = keras.datasets.imdb.get_word_index()
print(data)

列印出的結果為：
'pleasantvil': 65027, 'defininitive': 65028, 'reverent': 44834, 'gangland': 22426,

也就是單詞和索引號之間的對映關係。
在x_train中儲存了25000條品論，而其中每條評論是一個陣列，其中的內容是單詞索引。
例如：
第一條評論x_train[0]為：
[1, 14, 22, 16, 43, 530, 973, ..., 32]
第二條評論x_train[1]為：
[1, 194, 1153, 194, 8255, ..., 95]
每條評論的長度也不一樣。
如果想要解密評論的內容，只要根據前面的索引表來拼接出對應的單詞就可以。
相應的程式碼為：

data = keras.datasets.imdb.get_word_index()

word_map = dict([(value,key) for (key,value) in data.items()])
words = []
for word_index in x_train[0]:
    words.append(word_map[word_index])
print(" ".join(words))

解密出的第一條評論為：
the as you with out themselves powerful lets loves their becomes ...

準備資料

在x_train中儲存的資料是評論單詞的索引，而且我們這裡只使用了前最常出現的10000個單詞，在詞向量中，我們需要把單詞索引轉換成one-hot編碼，那為何要進行這樣的轉換呢？
我們知道，在進行深度學習的模型訓練中，我們都用數字來進行計算，而在單詞的表示中，原始資料用單詞的索引號來進行了表達，如果直接把單詞的索引號用於計算，其實是沒有意義的，因為單詞的索引號194和1153不存在大小比較和順序的問題，因此在機器學習中我們經常會使用one-hot編碼來表示某些單詞或分類的向量問題，也就是你可以把所有的單詞空間想象成一個向量，而其中的值只有0和1，每個句子都會包含所有的單詞向量，如果在那個句子中包含了某些詞，就在那個詞向量的位置上置上1，沒有包含這個詞的就在那個詞的位置上設定上0.

比如所有的詞為：
當一個句子為：我愛學習，則這個詞向量為：
所有詞：我是中國愛學習人
句子：我愛學習
詞向量：[1,0,0,0,1,1,1,0]

那如何通過程式碼來實現這個詞向量的轉換呢？
首先我們想這是一個方法，這樣可以對輸入引數進行轉換，假設這個方法名為：vectorize_sequence()
在呼叫時我們主要是對輸入引數進行轉換，因此其呼叫方式為：

x_train = vectorize_sequence(x_train)
x_test = vectorize_sequence(x_test)

這樣我們來實現一下這個方法：

import numpy as np
def vectorize_sequence(data, words_size = 10000):
    words_vector = np.zeros((len(data), words_size))
    for row, word_index in enumerate(data):
        words_vector[row, word_index] = 1.0
    return words_vector

相對功能也是比較簡單的，基本上就是首先初始化一個零矩陣：[輸入引數的行, 詞向量個數]
然後根據輸入引數中對應的詞索引所在位置置上值1就可以了。

構建模型

#構建模型
model = keras.models.Sequential()
model.add(keras.layers.Dense(16, activation=keras.activations.relu, input_shape=(10000, )))
model.add(keras.layers.Dense(16, activation=keras.activations.relu))
model.add(keras.layers.Dense(1, activation=keras.activations.sigmoid))

#編譯模型
model.compile(optimizer=keras.optimizers.RMSprop(), loss=keras.losses.binary_crossentropy, metrics=[keras.metrics.binary_accuracy])
#訓練模型
model.fit(x_train, y_train, epochs=20)

上面的程式碼比較簡單直接。
只有幾個地方需要說明一下的。
首先，keras中命名方式比較一致，比如這裡的keras.models來選擇模型，keras.layers來選擇層，keras.activations來選擇啟用函式，keras.optimizers用來選擇優化器，keras.losses選擇損失函式等等，也就是用某個帶複數s的單詞來選擇對應的功能。
有些文章中直接用字串來設定這些引數，例如：activation="relu",optimizer="rmsprop",loss='binary_crossentropy'等。
而由於我是通過IDEA來編寫程式碼的，因此用程式碼的方式比較容易，因為編輯器會進行自動提示，也不需要記憶這些單詞了。

在這裡啟用函式用於把線性函式轉換成非線性函式。
這裡的線性函式是指在神經網路中，其全連線的網路結構就是一個線性方程y=aX+b這樣的一個形式。類似我們的人腦，我們人腦大概有6層，當我們接收到資訊的刺激後，大腦皮層中的某些神經元會活躍起來，如果某些活躍強度不夠的話，這些訊號就不會傳輸到下一層的皮層中。因此這裡的啟用可以看成深度學習中的啟用函式，我們這裡使用了relu函式，其影像為

有點類似我們大腦中某神經元對於某訊號的刺激太小的話，就一直處於睡眠狀態，而如果此輸入的訊號激起了此神經元，則刺激的強度就跟輸入資訊的強度成正比。
更多的簡單介紹啟用函式可以參考tensorflow激勵函式

還有一個地方需要注意的是在模型的最後一層我們使用keras.layers.Dense(1, activation=keras.activations.sigmoid)，由於我們最終的輸出是一維資料，因此設定了一維輸出結果，這裡由於是二分類問題，因此最後一層的啟用函式要用sigmoid，損失函式用binary_crossentropy（二元交叉熵）。
一般對於分類問題，最後一層的啟用函式用softmax，損失函式用交叉熵
對於迴歸問題，最後一層啟用函式用非sigmoid，損失函式用mean_squared_error（均方誤差）。

這裡稍微做個對比：

型別	啟用函式	損失函式
二分類	sigmoid	binary_crossentropy
多分類	softmax	categorical_crossentropy
迴歸問題	無	mse

在測試集上進行測試

results = model.evaluate(x_test, y_test)
print(results)

輸出為：

[1.221505075365305, 0.84568]

表示精確度為84.568%

預測

訓練好網路之後，你希望將其用於實踐。你可以用 predict 方法來得到評論為正面的可能性大小。

results = model.predict(x_test)
print(results)