機器學習筆記(3)：多類邏輯迴歸

仍然是 動手學嘗試學習系列的筆記，原文見：多類邏輯迴歸 — 從0開始 。 這篇的主要目的，是從一堆服飾圖片中，通過機器學習識別出每個服飾圖片對應的分類是什麼（比如：一個看起來象短袖上衣的圖片，應該歸類到T-Shirt分類）

示例程式碼如下，這篇的程式碼略複雜，分成幾個步驟解讀：

 

一、下載資料，並顯示圖片及標籤

from mxnet import gluon
from mxnet import ndarray as nd
import matplotlib.pyplot as plt
import mxnet as mx
from mxnet import autograd

def transform(data, label):
    return data.astype('float32')/255, label.astype('float32')

#訓練資料集（需聯網下載，網速慢時，會很卡）
mnist_train = gluon.data.vision.FashionMNIST(train=True, transform=transform)

#測試資料集（需聯網下載）
mnist_test = gluon.data.vision.FashionMNIST(train=False, transform=transform)

# data, label = mnist_train[0]
# ('example shape: ', data.shape, 'label:', label)

#顯示服飾圖片
def show_images(images):
    n = images.shape[0]
    _, figs = plt.subplots(1, n, figsize=(15, 15))
    for i in range(n):
        figs[i].imshow(images[i].reshape((28, 28)).asnumpy())
        figs[i].axes.get_xaxis().set_visible(False)
        figs[i].axes.get_yaxis().set_visible(False)
    plt.show()

#獲取圖片對應分類標籤文字
def get_text_labels(label):
    text_labels = [
        'T 恤', '長 褲', '套頭衫', '裙 子', '外 套',
        '涼 鞋', '襯 衣', '運動鞋', '包 包', '短 靴'
    ]
    return [text_labels[int(i)] for i in label]

#下面這些程式碼，用於輔助大家理解示例圖片資料集內部結構
# tup1 = mnist_train[0:1] #取出訓練集的第1個樣本
# print(type(tup1)) #<class 'tuple'> 可以看出這是個元組型別
# print(len(tup1)) #2 有2個元素
# print(type(tup1[0])) #<class 'mxnet.ndarray.ndarray.NDArray'> 第1個元素是一個矩陣
# print(type(tup1[1])) #<class 'numpy.ndarray'> 第2個元素是numpy的矩陣
# print(tup1[0].shape) #(1, 28, 28, 1) 第1個元素是一個四維矩陣，用來儲存每張圖中的畫素點對應的值,最後1維表示RGB通道，這裡只取了1個通道
# print(tup1[1].shape) #(1,) 第2個元素用於表示圖片對應的文字分類的索引值
# print(tup1[0]) #列印第1個元素（即：四維矩陣的值），<NDArray 1x28x28x1 @cpu(0)> 結果太長，就不列在註釋裡了
# print(tup1[1]) #[2.]，列印第2個元素（即：該圖片對應的分類索引數值）
# print(get_text_labels(tup1[1])) #顯示分類索引值對應的文字['pullover']

#取出訓練集中的圖片資料，以及圖片標籤索引值
data, label = mnist_train[0:10]

#列印資料集的相關資訊
print('example shape: ', data.shape, 'label:', label)

#顯示圖片
show_images(data)

#列印圖片分類標籤
print(get_text_labels(label))

首次執行時，可能會很久都沒有反應，讓人誤以為程式碼有問題，其實背後在聯網下載資料，去睡會兒，等醒來的時候，估計就下載好了~_~，下載的資料會儲存在~/.mxnet/datasets/fashion-mnist目錄（mac環境）：

下載完成後，上面的程式碼會將圖片資料解析並顯示出來，類似下面這樣：

 

二、讀取資料並初始化引數

#批量讀取資料
batch_size = 256
#訓練集
train_data = gluon.data.DataLoader(mnist_train, batch_size, shuffle=True)
#測試集
test_data = gluon.data.DataLoader(mnist_test, batch_size, shuffle=False)

#每張圖片的畫素用向量表示，就是28*28的長度，即：784
num_inputs = 784
#要預測10張圖片，即：輸出結果長度為10的向量
num_outputs = 10

#初始化權重W、偏置b引數矩陣
W = nd.random_normal(shape=(num_inputs, num_outputs))
b = nd.random_normal(shape=num_outputs)

params = [W, b]

#附加梯度，方便後面用梯度下降法計算
for param in params:
    param.attach_grad()

這與之前的 機器學習筆記(1)：線性迴歸 很類似，不再重複解釋 

 

三、建立模型

#歸一化函式
def softmax(X):
    exp = nd.exp(X)
    partition = exp.sum(axis=1, keepdims=True)
    return exp / partition

#計算模型(仍然是類似y=w.x+b的方程)
def net(X):
    return softmax(nd.dot(X.reshape((-1, num_inputs)), W) + b)

#損失函式(使用交叉熵函式)
def cross_entropy(yhat, y):
    return - nd.pick(nd.log(yhat), y)

#梯度下降法
def SGD(params, lr):
    for param in params:
        param[:] = param - lr * param.grad

其中softmax(歸一化)及交叉熵cross_entropy，詳情可參考上篇：歸一化(softmax)、資訊熵、交叉熵

 

四、如何評估準確度

#計算準確度
def accuracy(output, label):
    return nd.mean(output.argmax(axis=1) == label).asscalar()

def _get_batch(batch):
    if isinstance(batch, mx.io.DataBatch):
        data = batch.data[0]
        label = batch.label[0]
    else:
        data, label = batch
    return data, label

#評估準確度
def evaluate_accuracy(data_iterator, net):
    acc = 0.
    if isinstance(data_iterator, mx.io.MXDataIter):
        data_iterator.reset()
    for i, batch in enumerate(data_iterator):
        data, label = _get_batch(batch)
        output = net(data)
        acc += accuracy(output, label)
    return acc / (i+1)

機器學習的效果如何，通常要有一個評價值，上面的函式就是用來估計演算法和模型準確度的。

注: 這裡面用到了二個新的函式mean,argmax 解釋一下

mean類似sql中的avg函式，就是求平均值，即把一個矩陣的所有元數加起來，然後除以元數個數

from mxnet import ndarray as nd
x = nd.array([1,2,3,4,5,6]);
print(x,x.mean(),(1+2+3+4+5+6)/6.0)

輸出如下：

[ 1.  2.  3.  4.  5.  6.]
<NDArray 6 @cpu(0)> 
[ 3.5]
<NDArray 1 @cpu(0)> 3.5

而argmax，是找出（指定軸向）最大值的索引下標

from mxnet import ndarray as nd
x = nd.array([1,4,7,3,6])
print(x.argmax(axis=0))

輸出為[ 2.]，即：第3列數字7最大。再來個多維矩陣的

如上圖，多維矩陣時，如果指定axis=0，表示軸的方向是縱向（自上而下），顯然第1列中的最大值7在第2行（即：row_index是1)，第2列的最大值9在第3行（即：row_index=2)，類推第3列的最大值8在第1行（row_index=0)，最終輸出的結果就是[1, 2, 0]

如果把axis指定為1，則軸的方向為橫向（自左向右），如下圖：

axis為1時，輸出的索引，為列下標（即：第幾列），顯然8在第2列，7在第0列，9在第1列。

現在我們來想一下：為啥argmax結合mean這二個函式，可以用來評估準確度？

答案：預測的結果也是一個矩陣，通常預測對了，該元素值為1，預測錯誤則為0。

如上圖，假如有3個指標，預測對了2個，第三行，一個都沒預測對，那麼準確率為2/3，即0.6666左右

 

五、訓練

#學習率
learning_rate = .1

#開始訓練
for epoch in range(5):
    train_loss = 0.
    train_acc = 0.
    for data, label in train_data:
        with autograd.record():
            output = net(data)
            loss = cross_entropy(output, label)
        loss.backward()
        SGD(params, learning_rate / batch_size)
        train_loss += nd.mean(loss).asscalar()
        train_acc += accuracy(output, label)

    test_acc = evaluate_accuracy(test_data, net)
    print("Epoch %d. Loss: %f, Train acc %f, Test acc %f" % (
        epoch, train_loss / len(train_data), train_acc / len(train_data), test_acc))

訓練過程與之前的機器學習筆記(1)：線性迴歸 套路一樣，參看之前的即可。

 

六、顯示預測結果

#顯示結果    
data, label = mnist_test[0:10]
show_images(data)
print('true labels')
print(get_text_labels(label))

predicted_labels = net(data).argmax(axis=1)
print('predicted labels')
print(get_text_labels(predicted_labels.asnumpy()))

執行結果，參考下圖：

可以看到損失函式的計算值在一直下降（即：計算在收斂），最終的結果中紅線部分為100%預測正確的，其它一些外形相似的分類：襯衣、T恤、套頭衫、外套 這些都是"有袖子類的上衣"，並沒有完全預測正確，但整體方向還是對的（即：並沒有把"上衣"識別成"鞋子"或"包包"等明顯不靠譜的分類），最終的模型、演算法及引數有待進一步提高。