選自data science central
機器之心編譯
參與：蔣思源
本文比較了 Keras 支援的主流深度學習框架效能，包括 TensorFlow、CNTK、MXNet 和 Theano，作者希望通過使用同一模型和不同的 Keras 後端，而測試不同框架在不同型別任務中的效能。本文通過五個任務分別測試了 MLP、CNN 和 RNN 模型，機器之心不僅對該試驗進行了介紹，同時還使用 Keras（TensorFlow 後端）在 MNIST 資料集上試執行了 CNN。
如果我們對 Keras 在資料科學和深度學習方面的流行還有疑問，那麼考慮一下所有的主流雲平臺和深度學習框架的支援情況就能發現它的強大之處。目前，Keras 官方版已經支援谷歌的 TensorFlow、微軟的 CNTK、蒙特利爾大學的 Theano，此外，AWS 去年就宣佈 Keras 將支援 Apache MXNet，上個月釋出的 MXNet 0.11 就新增 Core ML 和 Keras v1.2 的支援。不過到目前為止 MXNet 好像只支援 Keras v1.2.2 而不是最新版 2.0.5。
儘管我們可以使用任何 Keras 所支援的後端部署模型，但開發者和方案架構師應該瞭解 Keras 作為各深度學習庫的高階 API，其本質上是不支援各個庫所提供的全部基本引數微調。因此如果我們想要精細調整後端框架所提供的所有引數，那麼我們最好直接使用深度學習框架而不是使用 Keras。當然這個情況會隨著各種工具新增到 Keras 和深度學習框架中而得到改善，但現在 Keras 仍是一個十分優秀的工具，它能極好地適應於深度學習開發的早期階段，並且為資料科學家和演算法工程師快速構建與測試複雜的深度學習模型提供了強大的工具。
機器之心也嘗試使用 TensorFlow 作為後端測試了 Keras，我們發現整個模型的搭建非常簡潔，連入門者都能輕鬆讀懂整個網路的架構。相比於直接使用 TensorFlow 搭建卷積神經網路，將 Keras 作為高階 API，並使用 TensorFlow 作為後端要簡單地多。後面我們將會把 Keras 實現 CNN 的程式碼與註釋上傳至機器之心 GitHub 專案中，下圖是我們使用 TensorFlow 作為後端初始化訓練的情況：
以下是整個卷積網路的架構：
上面的程式碼清晰地定義了整個網路疊加所使用的層級。Sequential 代表序貫模型，即多個網路層的線性堆疊。在建立序貫模型後，我們可以從輸入層開始依次新增不同的層級以實現整個網路的構建。上面的架構首先使用的是 2 維卷積層 Conv2D，卷積核大小為 3*3，啟用函式為 ReLU，其中第一個引數 32 代表卷積核數目。此外，該卷積網路還使用了最大池化層 MaxPooling2D，pool_size=(2,2) 為兩個方向（豎直，水平）上的下采樣因子；Dropout 層，以 0.25 的概率在每次更新引數時隨機斷開輸入的神經元；Dense 層，即全連線層；還有 Flatten 層，即將輸入「壓平」，也就是把多維的輸入一維化，常用在從卷積層到全連線層的過渡。以上是該架構的基本層級，更詳細的程式碼及註釋請檢視機器之心 GitHub 專案。
下面是 Jasmeet Bhatia 測評的具體情況。
Keras 後端框架效能測試
Keras 還能使開發人員快速測試使用不同深度學習框架作為 Keras 後端的相對效能。Keras 配置檔案中有一個引數決定了使用哪一個深度學習框架作為後端，因此我們可以構建一個相同的模型在不同的深度學習框架（如 TensorFlow、CNTK、Theano）上直接執行。而對於 MXNet 來說，由於目前只支援 Keras ver1.2.2，所以我們需要對程式碼做一點點修改就行。當然這個模型可以根據各個深度學習框架中的不同庫而進行微調以實現更好的效能，不過 Keras 仍然提供了很好的機會來比較這些基本庫之間的效能。
早先已經有一些文章比較了 Keras 所支援後端框架的相對效能，但是對比的時間都比較早，且主要是以 TensorFlow 和 Theano 作為後端的對比。因此本文根據 Keras 和深度學習框架的最新版本在更大的範圍內做了一次對比。
我們首先了解一下用於測試的配置。所有的效能測試都在 Azure NC6 VM 上使用 Nvidia Tesla K80 GPU 執行，使用的 VM 映象是 Ubuntu 上的 Azure DSVM（資料科學虛擬機器）。除了其他資料科學工具，我們還預安裝了 Keras、TensorFlow、Theano 和 MXNet。對於測試來說，所有的軟體包都是用的最新版，但因為 MXNet 只支援 Keras 1.2.2，所以其使用的舊版。
配置
因為每一個深度學習框架的依賴項不同，我們的測試在下面三種配置中執行：
效能測試
為了比較 DL 框架不同的效能，我們如下所述使用了 5 種不同的測試模型。為了確保沒有特定的框架得到任何特定的處理，所有模型都來自 GitHub Keras/examples 倉庫中所維護的。
- 模型原始碼地址：https://github.com/fchollet/keras/tree/master/examples
- 測試的程式碼可以在作者的 GitHub 專案中找到：https://github.com/jasmeetsb/deep-learning-keras-projects
注意：有兩個測試 MXNet 並沒有參與，因為 MXNet 並不支援最新版的 Keras，且 MXNet 作為後端執行該模型需要調整大量程式碼。在其他三個測試中以 MXNet 作為後端也需要進行一些細微的調整，主要是新版本的 Keras 重新命名了一些函式。
測試一：CIFAR-10 & CNN
- 學習模型的型別：卷積神經網路（CNN）
- 資料集/任務：CIFAR-10 小圖片資料集
- 目標：將圖片分類為 10 個類別
根據每一個 epoch 的訓練速度，TensorFlow 要比 MXNet 快那麼一點點。
而按照準確度/收斂速度來說，CNTK 在前 25 個 epoch 中領先一點，而在 50 個 epoch 後，其他框架都到達相近的準確度，而 CNTK 卻略微下降。
測試二：MNIST & CNN
- 學習模型的型別：CNN
- 資料集/任務：MNIST 手寫數字資料集
- 目標：將圖片分類為 10 類手寫數字
在該測試中，TensorFlow 明顯要在訓練時間上更加優秀，但在準確度/收斂速度上所有框架都有相似的特徵。
測試三：MNIST&MLP
- 學習模型的型別：多層感知機/深度神經網路
- 資料集/任務：MNIST 手寫數字資料集
- 目標：將圖片分類為 10 類手寫數字
在使用 MNIST 資料集執行標準的神經網路測試中，CNTK、TensorFlow 和 Theano 實現了相似的分數（2.5 – 2.7 s/epoch），而 MXNet 卻只需要 1.4s/epoch。此外，MXNet 同樣在準確度/收斂速度上有一點點優勢。
測試四：MNIST&RNN
- 學習模型的型別：層級迴圈神經網路（HRNN）
- 資料集/任務：MNIST 手寫數字資料集
- 目標：將圖片分類為 10 類手寫數字
在訓練時間上，CNTK 和 MXNet 有相似的效能（162 – 164 s/epoch），TensorFlow 的時間為 179s/epoch，而 Theano 所需的時間則顯著地增多。
測試五：BABI & RNN
- 學習模型的型別：迴圈神經網路（RNN）
- 資料集/任務：bAbi Project (https://research.fb.com/downloads/babi/)
- 目標：分別根據故事（story）和問題訓練兩個迴圈神經網路，致使合併的向量可以回答一系列 bAbi 任務。
該測試並沒有使用 MXNet，TensorFlow 和 Theano 在每一個 epoch 上要比 CNTK 要慢了一倍多。
結語
- TensorFlow 在 CNN 測試中表現都是最好的，但是在 RNN 測試中表現並不太好。
- CNTK 在 Babi RNN 和 MNIST RNN 測試上要比 TensorFlow 和 Theano 好得多，但是在 CNN 測試上要比 TensorFlow 差一些。
- MXNet 在 RNN 測試上要比 CNTK 和 TensorFlow 要好一點，此外它在 MLP 上要比所有框架的效能都要好。不過 MXNet 並不支援 Keras v2 函式，所以我們並不能在沒有修正程式碼的情況下直接測試，因此可能會有一點偏差。
- Theano 在深度神經網路（MLP）中要比 TensorFlow 和 CNTK 好一點。
從上面的結果可以看出來，所有的深度學習框架都有其擅長的領域，並沒有哪個框架一定要比其他框架好。CNTK 可作為 Keras 後端並用於 RNN 的使用案例，TensorFlow 可用於 CNN，而 MXNet 雖然顯示了效能上非常大的潛力，但仍然還是讓人期待其支援所有 Keras 函式的時候。在開源社群中，這些框架都在不斷擴充套件與增強，從而提供更好的效能並輕鬆地部署到產品中。在考慮使用這些深度學習框架投入生產時，效能是首要的。在大多數情況下，我們還需要考慮部署的難易度和其他輔助工具，它們都將幫助我們管理產品化的機器學習模型。最後，所有的框架效能都是在作為 Keras 後端時測評的，所以會有一點誤差，不過本文至少可以幫助大家對這些框架的效能有一定了解。此外本文在大家採用不同後端時可以給出一點相對客觀的建議。
原文連結：http://www.datasciencecentral.com/profiles/blogs/search-for-the-fastest-deep-learning-framework-supported-by-keras