從VGG到ResNet，你想要的MXNet預訓練模型輕鬆學

機器之心發表於2018-05-20
模型

本文介紹瞭如何利用 Apache MXNet 預訓練出的多個模型。每個模型在特定影象上的表現略有不同，訓練多個模型旨在找出更適合特定任務的模型。

在這篇博文中，你將會了解如何使用 Apache MXNet 預訓練出的多個模型。為什麼要嘗試多個模型呢？為什麼不直接選擇準確率最高的呢？稍後我們會在文章中看到，儘管這些模型是在相同的資料集上訓練的，並且都針對最大準確率進行了優化，但它們在特定影象上的表現略有不同。此外，（不同模型）預測速度也不同，而對很多應用來說速度是一個重要的影響因素。嘗試這些模型，或許能找到一個合適的模型解決手頭上的難題。首先，我們先從 Apache MXNet 模型庫中下載三個影象分類模型。（模型庫地址：http://mxnet.io/model_zoo/）

三個模型分別是：

  • VGG-16，獲得 2014 年 ImageNet 大規模視覺識別挑戰賽分類專案冠軍。

  • Inception v3，GoogleNet 的進化版，獲得 2014 年比賽的目標檢測專案冠軍。

  • ResNet-152，獲得 2015 年比賽的多個專案的冠軍。

我們需要為每一個模型下載兩個檔案：

  • 包含神經網路 JSON 定義的符號檔案：層、連線、啟用函式等。

  • 網路在訓練階段學習到的儲存了所有連線權重、偏置項和 AKA 引數的權重檔案。

# MacOS users can easily install 'wget' with Homebrew: 'brew install wget'
!wget http://data.dmlc.ml/models/imagenet/vgg/vgg16-symbol.json -O vgg16-symbol.json
!wget http://data.dmlc.ml/models/imagenet/vgg/vgg16-0000.params -O vgg16-0000.params
!wget http://data.dmlc.ml/models/imagenet/inception-bn/Inception-BN-symbol.json -O Inception-BN-symbol.json
!wget http://data.dmlc.ml/models/imagenet/inception-bn/Inception-BN-0126.params -O Inception-BN-0000.params
!wget http://data.dmlc.ml/models/imagenet/resnet/152-layers/resnet-152-symbol.json -O resnet-152-symbol.json
!wget http://data.dmlc.ml/models/imagenet/resnet/152-layers/resnet-152-0000.params -O resnet-152-0000.params
!wget http://data.dmlc.ml/models/imagenet/synset.txt -O synset.txt

讓我們來看看 VGG-16 符號檔案的第一行。可以看到輸入層的定義（'data'），第一個卷積層的權重和偏置項。卷積操作和線性修正單元啟用函式分別用（『conv1_1』）和（『relu1_1』）定義。

!head -48 vgg16-symbol.json

三個模型都使用 ImageNet 訓練集進行預訓練。這個訓練集包含超過 120 萬張物體和動物的影象，這些影象被分成了 1000 個類別。我們可以在 synset.txt 檔案中檢視這些類別。

!head -10 synset.txt
import mxnet as mx
import numpy as np
import cv2, sys, time   # You can easily install OpenCV with 'pip install cv2'
from collections import namedtuple
from IPython.core.display import Image, display

print("MXNet version: %s"  % mx.__version__)

現在載入一個模型。

首先，我們需要從檔案中載入權重和模型描述。MXNet 將此稱為檢查點。在每個訓練 epoch 之後儲存權重是個好習慣。一旦訓練完成，我們可以檢視訓練日誌，然後選擇最佳 epoch 的權重，最優 epoch 即具有最高驗證準確度的 epoch。一般來說它不會是最後一個 epoch。在模型載入完成之後，我們得到一個 Symbol 物件和權重、AKA 模型引數。之後我們建立一個新 Module 併為其分配 Symbol 作為輸入。我們可以選擇執行模型的環境：預設情況下使用 CPU 環境。這麼做有兩個原因：

  • 第一，即使你的電腦沒有 GPU，你也能測試 notebook（https://s3.amazonaws.com/aws-ml-blog/artifacts/pre-trained-apache-mxnet-models/Pre-trained%2Bmodels.ipynb）。

  • 第二，我們接下來只預測單個影象，因此對效能沒有特殊要求。對於那些希望通過預測大量影象以獲得最佳吞吐量的應用產品，GPU 肯定是最優選擇。

然後，我們將 Symbol 作為輸入資料。我們稱之為 data，為了與它在網路輸入層時的名字保持一致（JSON 檔案的前幾行提過）。最後，我們將 data 的形態定義成 1 x 3 x 224 x 224。224 x 224 是影象解析度：模型就是使用這個解析度的影象來訓練的。3 是通道數量：紅色、綠色和藍色（按此順序）。1 是批量大小：一次預測一個影象。

def loadModel(modelname, gpu=False):
        sym, arg_params, aux_params = mx.model.load_checkpoint(modelname, 0)
        arg_params['prob_label'] = mx.nd.array([0])
        arg_params['softmax_label'] = mx.nd.array([0])
        if gpu:
            mod = mx.mod.Module(symbol=sym, context=mx.gpu(0))
        else:
            mod = mx.mod.Module(symbol=sym)
        mod.bind(for_training=False, data_shapes=[('data', (1,3,224,224))])
        mod.set_params(arg_params, aux_params)
        return mod

我們還需要載入儲存在 synset.txt 檔案中的 1000 個類別。預測時會使用這些類別描述。

def loadCategories():
        synsetfile = open('synset.txt', 'r')
        synsets = []
        for l in synsetfile:
                synsets.append(l.rstrip())
        return synsets

synsets = loadCategories()
print(synsets[:10])

現在我們編寫一個從檔案中載入影象的函式。別忘了，模型需要一個四維的 NDArray，其中包含 224 x 224 影象的紅色、綠色以及藍色通道。我們將利用 openCV 庫及輸入影象來構建 NDArray。

下面是具體步驟：

  • 讀取影象：此步會返回一個形如（影象高度，影象寬度，3）的 numpy 陣列。它包含三個 BGR 順序的通道（藍色、綠色、紅色）。

  • 將影象轉換為 RGB 順序（紅色、綠色、藍色）。

  • 將影象大小改為 224 x 224。

  • 將陣列從（影象高度，影象寬度，3）轉換為（3，影象高度，影象寬度）。

  • 加上第四個維度，然後構建 NDArray。

def prepareNDArray(filename):
        img = cv2.imread(filename)
        img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        img = cv2.resize(img, (224, 224,))
        img = np.swapaxes(img, 0, 2)
        img = np.swapaxes(img, 1, 2)
        img = img[np.newaxis, :]
        array = mx.nd.array(img)
        print(array.shape)
        return array

現在我們把重點放在預測上。我們的引數是單個影象、模型、類別列表以及我們想要優先返回的類別數量。

記住，Module 物件必須批量地向模型輸入資料。通常的做法是使用資料迭代器。此處，我們想要預測單個影象，所以雖然我們可以使用資料迭代器，但它可能會越界。所以，我們建立一個叫 Batch 的元組，它將作為偽迭代器，在其 data 屬性被引用時返回輸入 NDArray。

在影象饋送至模型後，模型輸出一個包含 1000 種可能性的 NDArray，對應 1000 個類別。NDArray 只有一行因為批大小為 1。

我們使用 squeeze() 將其轉換為陣列。之後使用 argsort() 建立第二個陣列用於存放這些降序排列的概率索引。最後我們返回前 n 個類別及其描述。

def predict(filename, model, categories, n):
        array = prepareNDArray(filename)
        Batch = namedtuple('Batch', ['data'])
        t1 = time.time()
        model.forward(Batch([array]))
        prob = model.get_outputs()[0].asnumpy()
        t2 = time.time()
        print("Predicted in %.2f microseconds" % (t2-t1))
        prob = np.squeeze(prob)
        sortedprobindex = np.argsort(prob)[::-1]

        topn = []
        for i in sortedprobindex[0:n]:
                topn.append((prob[i], categories[i]))
        return topn

現在是時候將所有的模組組裝起來了。載入這三個模型：

gpu = False
vgg16 = loadModel("vgg16", gpu)
resnet152 = loadModel("resnet-152", gpu)
inceptionv3 = loadModel("Inception-BN", gpu)
categories = loadCategories()

在進行影象分類之前，我們來仔細檢視一下之前從 .params 檔案中載入得到的 VGG-16 模型引數。首先，我們輸出所有層的名字。

params = vgg16.get_params()

layers = []
for layer in params[0].keys():
    layers.append(layer)

layers.sort()    
print(layers)

對每一層而言，有兩個部分值得我們關注：權重和偏置項。數一數這些權重你就會發現一共有 16 個層：13 個卷積層以及 3 個全連線層。現在你知道為什麼這個模型叫 VGG-16 了。現在輸出剩下的全連線層的權重：

print(params[0]['fc8_weight'])

你注意到這個矩陣的形狀了嗎？它是 1000×4096 的。這個層包含了 1000 個神經元：每一個神經元會儲存影象屬於某個特定分類的概率。每個神經元也和前一層（『fc7』）所有的神經元（4096 個）全部連線。

現在開始使用這些模型來對我們自己的影象進行分類：

!wget http://jsimon-public.s3.amazonaws.com/violin.jpg -O violin.jpg
image = "violin.jpg"

display(Image(filename=image))

topn = 5
print("*** VGG16")
print(predict(image,vgg16,categories,topn))
print("*** ResNet-152")
print(predict(image,resnet152,categories,topn))
print("*** Inception v3")
print(predict(image,inceptionv3,categories,topn))

再用 GPU 環境試試：

gpu = True
vgg16 = loadModel("vgg16", gpu)
resnet152 = loadModel("resnet-152", gpu)
inceptionv3 = loadModel("Inception-BN", gpu)

print("*** VGG16")
print(predict(image,vgg16,categories,topn))
print("*** ResNet-152")
print(predict(image,resnet152,categories,topn))
print("*** Inception v3")
print(predict(image,inceptionv3,categories,topn))

注意：如果遇到了關於 GPU 支援的錯誤，有可能是你的機器沒有配置 GPU，或者你使用的 MXNet 版本尚未提供 GPU 支援（USE_CUDA=1）。

構建提供 GPU 支援的 MXNet 教程可參考：https://mxnet.incubator.apache.org/get_started/build_from_source.html；你也可以安裝預製版本：https://mxnet.incubator.apache.org/install/index.html。

GPU 版本和 CPU 版本的效能差異非常明顯，在 15 倍到 20 倍之間。如果我們同時預測多個影象，由於 GPU 架構的大規模並行性，二者差距會更大。

現在是時候用你自己的影象試試了。只需將它們複製到此 notebook（https://s3.amazonaws.com/aws-ml-blog/artifacts/pre-trained-apache-mxnet-models/Pre-trained%2Bmodels.ipynb）所處的資料夾即可，更新上述模組的檔名，然後再次執行 predict() 函式。

原文地址：https://aws.amazon.com/cn/blogs/machine-learning/use-pre-trained-models-with-apache-mxnet/ 

相關文章