# 1. TensorFlow 與 MNIST #

TensorFlow 是谷歌於 2015 年 11 月 9 日正式開源的計算框架，可以很好地支援機器學習的各種演算法，其靈活的架構可以在多種平臺上展開計算，例如CPU或GPU桌上型電腦、伺服器，移動裝置等等。

MNIST 是機器學習領域的一個經典入門 Demo，資料集是由 6 萬張訓練圖片和 1 萬張測試圖片構成，期望效果是讓機器識別一系列大小為 28x28 畫素的手寫數字灰度影像，並判斷這些影像代表 0-9 中的哪一個數字。

# 2. 建立 GPU 雲主機#
 本文使用[滴滴雲](https://blog.didiyun.com) GPU P4 伺服器，主要建立過程配置如下。

選擇 GPU 伺服器和預設已安裝顯示卡驅動的 Centos7.3 映象：
 
![](https://i.imgur.com/Wu5Hehm.png)

本次測試選擇 8 核 CPU，16G 記憶體和 80G SDD 雲盤作為系統盤：

![](https://i.imgur.com/4ICPKjK.png)

詳細步驟可點選以下連結參考滴滴雲官網教程：[https://help.didiyun.com/hc/kb/article/1146353/](https://help.didiyun.com/hc/kb/article/1146353/ "https://help.didiyun.com/hc/kb/article/1146353/")

遠端 SSH 連線雲主機後，輸入 `sudo su` 切換至 root 使用者，輸入 `nvidia-smi` 檢視輸出確認顯示卡驅動是否已安裝：
```
[dc2-user@10-254-93-25 ~]$ sudo su
[root@10-254-93-25 dc2-user]# nvidia-smi
Wed Jan 16 17:15:47 2019       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.81                 Driver Version: 384.81                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla P4            On   | 00000000:00:06.0 Off |                    0 |
| N/A   35C    P8     6W /  75W |      0MiB /  7606MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
```

# 3. 安裝 TensorFlow#
滴滴雲 GPU 虛擬主機預裝了 Python2.7 和 PIP，可以直接用 PIP 安裝 TensorFlow：
```
pip install -i http://pypi.mirrors.ustc.edu.cn/simple/ --trusted-host pypi.mirrors.ustc.edu.cn tensorflow
```

如果看到以下輸出說明 TensorFlow 安裝成功：
```
Successfully installed absl-py-0.6.1 astor-0.7.1 backports.weakref-1.0.post1 enum34-1.1.6 funcsigs-1.0.2 futures-3.2.0 gast-0.2.0 grpcio-1.16.1 h5py-2.8.0 keras-applications-1.0.6 keras-preprocessing-1.0.5 markdown-3.0.1 mock-2.0.0 numpy-1.15.4 pbr-5.1.1 protobuf-3.6.1 six-1.11.0 tensorboard-1.12.0 tensorflow-1.12.0 termcolor-1.1.0 werkzeug-0.14.1 wheel-0.32.2

```

測試 TensorFlow：
```
pythonPython 2.7.5 (default, Nov  6 2016, 00:28:07) host 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
>>> hello = tf.constant("Hello, TensorFlow!")
>>> sess = tf.Session()
2019-01-17 11:09:10.301186: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 AVX512F FMA
>>> print sess.run(hello)
Hello, TensorFlow!
```

# 4. 下載 MNIST 資料集#
MNIST 資料集可在 [http://yann.lecun.com/exdb/mnist/ ](http://yann.lecun.com/exdb/mnist/  "http://yann.lecun.com/exdb/mnist/ ") 獲取，它包含了四個部分：

1. train-images-idx3-ubyte.gz:  訓練圖片
2. train-labels-idx1-ubyte.gz:  訓練標籤
3. t10k-images-idx3-ubyte.gz:   測試圖片
4. t10k-labels-idx1-ubyte.gz:   測試標籤

將以上檔案儲存在 /tmp 目錄下。

這些檔案並不是標準的圖片格式，因此無法直接展示，需要單獨的程式來讀取，下面我們以 train-images-idx3-ubyte.gz 為例，用一個 Python 程式將其中的內容轉換為普通的 BMP 格式圖片。

首先將 train-images-idx3-ubyte.gz 解壓到另外的資料夾，因為後面 TensorFlow 用來訓練這些資料是是不需要解壓的：
```
[root@10-254-141-173 dc2-user]# cp train-images-idx3-ubyte.gz /home/dc2-user/
[root@10-254-141-173 dc2-user]# cd /home/dc2-user/
[root@10-254-141-173 dc2-user]# gunzip train-images-idx3-ubyte.gz
[root@10-254-141-173 dc2-user]# ls
[root@10-254-141-173 dc2-user]# train-images-idx3-ubyte
```

在 /home/dc2-user 下建立一個新的資料夾 training，將轉換格式後的圖片放入此資料夾中，以下為轉換檔案格式的 Python 程式碼：
```
import struct
import numpy as np
import PIL.Image

filename='/home/dc2-user/train-images-idx3-ubyte'
binfile=open(filename,'rb')
buf=binfile.read()
index=0
magic,numImages,numRows,numColumns=struct.unpack_from('>IIII',buf,index)
index+=struct.calcsize('>IIII')
for image in range(0,numImages):
    im=struct.unpack_from('>784B',buf,index)
    index+=struct.calcsize('>784B')
    im=np.array(im,dtype='uint8')
    im=im.reshape(28,28)
    im=PIL.Image.fromarray(im)
    im.save('/home/dc2-user/training/train_%s.bmp'%image,'bmp')
```

轉換完成後，我們可以隨便開啟兩張圖片看一下效果：

![](https://i.imgur.com/uAuk0hm.png)    ![](https://i.imgur.com/VB0fMBB.png)

資料集中的每張圖片是 28x28 畫素，即 784 個畫素點。

# 4. 訓練與識別#
接下來在 Python 中執行圖片訓練與識別的程式碼。

載入資料集並使用 one-hot 編碼：
```
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("/tmp",one_hot = True)
```

匯入 TensorFlow 庫，並建立一個 InteractiveSession，這種互動式會話會指定當前會話為預設會話，之後的運算也會在當前會話執行。

之後建立一個 placeholder 即佔位符，可以理解為資料的入口，其中第一個引數是資料型別，為 float32，第二個引數為資料的尺寸，none 表示輸入影像數量不唯一，784 表示 MNIST 影像的 784 個畫素點，y_ 為影像的標籤。此處的資料即為 TensorFlow 中的 Tensor ( 張量 )，可簡單理解為多維陣列。

```
import tensorflow as tf
sess = tf.InteractiveSession()
x = tf.placeholder(tf.float32, [None, 784])
y_= tf.placeholder(tf.float32,[None,10])
```

接下來定義 Softmax 迴歸模型中的 weights（權重）和 biases（偏置值）建立 Variable 物件。

本文側重於 MNIST 資料集在[滴滴雲](https://blog.didiyun.com) GPU 伺服器的訓練演示，對 Softmax 迴歸模型不做展開討論，可以簡單理解為 w 是一個 784x10 的矩陣，因為我們有 784 個輸入特徵和 10 個輸出類別（0~9），b 是一個大小為 10 的向量，代表 10 各類別：
```
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
```

接下來就是實現 Softmax 迴歸演算法，公式 y = softmax(Wx + b)：
```
y = tf.nn.softmax(tf.matmul(x, W) + b)
```

為了訓練模型，需要定義一個 loss 函式，loss 表示模型的預測在一個單一例子上的準確程度，本例中使用 Cross-entropy（交叉熵）函式。交叉熵刻畫的是實際輸出（機率）與期望輸出（機率）的距離，也就是交叉熵的值越小，兩個機率分佈就越接近：

```
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices = [1]))
```

使用 TensorFlow 的內建最快速梯度下降法，0.5 的步長，來下降交叉熵：
```
train_step =  tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

```

初始化全域性引數並執行其 run 方法：

```
tf.global_variables_initializer().run()
```

迭代執行訓練操作 train_step，每次隨機抽取 100 樣本構成一個 batch，一共進行 10000 組訓練：
```
for i in range(10000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    train_step.run({x:batch_xs, y_:batch_ys})
```

訓練完成後，對模型的準確率進行驗證。

以下程式碼中 tf.argmax(y,1) 是指經過學習後判斷圖中數字最可能的值，tf.argmax(y_,1) 是圖片中數字的真實值，tf.equal 檢查判斷值和真實值是否相等：
```
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(accuracy.eval({x:mnist.test.images, y_: mnist.test.labels}))
0.9253
```

我們可以看到準確率為 92.53%。

基於滴滴雲 GPU 實現簡單 MINIST 手寫識別

相關文章