資料科學家必知的五大深度學習框架!(附插圖)

資料派THU發表於2019-04-25

概述

從出道起,我就一直是一名程式設計師。我喜歡從頭開始編寫程式碼,這有助於我清楚地理解主題(或技巧)。當我們剛開始學習資料科學時,這種方法尤為有用。

嘗試從無到有地實現一個神經網路,你將會明白很多有趣的事情。但是當需要為現實世界的資料集構建深度學習模型時,這還是一個不錯的主意嗎?如果你需要幾天或幾周的時間來建立起模型,這是完全不可能的。

對於那些無法訪問無限計算資源的人來說,你們已經來到了正確的地方。

資料科學家必知的五大深度學習框架!(附插圖)

值得慶幸的是,我們現在已經有了易於使用的開源深度學習框架,旨在簡化複雜和大規模深度學習模型的實現。使用這些神奇的框架,我們可以實現諸如卷積神經網路這樣複雜的模型。

在本文中,將介紹5種非常有用的深度學習框架、它們的優點以及應用。我們將對每個框架進行比較,以瞭解何時何地可以使用它們。

我們還建立了一個非常酷的針對每個深度學習框架的資訊圖表,附在在文章的末尾,為每個資料科學家所必備。

目錄

一、什麼是深度學習框架?

二、TensorFlow

三、Keras

四、PyTorch

五、Caffe

六、Deeplearning4j

七、五個深度學習框架之間的對比

一、什麼是深度學習框架?

讓我們用一個例子來理解這個概念,來看以下影像集合:

資料科學家必知的五大深度學習框架!(附插圖)

在這個影像中有不同的分類:貓,駱駝,鹿,大象等。我們的任務是將這些影像歸到相應的類(或類別)中。用Google搜尋一下就能知道:卷積神經網路(CNNs)對於這類影像分類任務十分有效。

我們要做的工作就是實現這個模型,對嗎?如果從頭開始編寫一個卷積神經網路,則需要幾天(甚至幾周)才能得到一個有效的模型,我們卻沒法等這麼長的時間!

這正是深度學習框架真正改變了局面的地方。

資料科學家必知的五大深度學習框架!(附插圖)

深度學習框架是一種介面、庫或工具,它使我們在無需深入瞭解底層演算法的細節的情況下,能夠更容易、更快速地構建深度學習模型。深度學習框架利用預先構建和優化好的元件集合定義模型,為模型的實現提供了一種清晰而簡潔的方法。

利用恰當的框架來快速構建模型,而無需編寫數百行程式碼,一個良好的深度學習框架具備以下關鍵特徵:

  • 優化的效能

  • 易於理解和編碼

  • 良好的社群支援

  • 並行化的程式,以減少計算

  • 自動計算梯度

這五點也是我用來挑選五大頂級深度學習框架的標準。下面讓我們詳細研究一下它們。

二、TensorFlow

資料科學家必知的五大深度學習框架!(附插圖)

TensorFlow是由谷歌大腦團隊的研究人員和工程師開發的,它是深度學習領域中最常用的軟體庫(儘管其他軟體正在迅速崛起)。

資料科學家必知的五大深度學習框架!(附插圖)

我喜歡TensorFlow的原因有兩點:它完全是開源的,並且有出色的社群支援。TensorFlow為大多數複雜的深度學習模型預先編寫好了程式碼,比如遞迴神經網路和卷積神經網路

TensorFlow如此流行的最大原因之一是支援多種語言來建立深度學習模型,比如Python、C和R,並且有不錯的文件和指南。

TensorFlow有許多元件,其中最為突出的是:

  • Tensorboard:幫助使用資料流圖進行有效的資料視覺化

  • TensorFlow用於快速部署新演算法/試驗

TensorFlow的靈活架構使我們能夠在一個或多個CPU(以及GPU)上部署深度學習模型。下面是一些典型的TensorFlow用例:

  • 基於文字的應用:語言檢測、文字摘要

  • 影像識別:影像字幕、人臉識別目標檢測

  • 聲音識別

  • 時間序列分析

  • 視訊分析

用例遠遠不止這些,如果你知道TensorFlow還有以上所述之外的其他應用,我很樂意知道!可以在本文的評論部分告訴我,我們再做討論。

安裝TensorFlow也是一個非常簡單的任務。

對於CPU:

pip install tensorflow

對於啟用CUDA的GPU卡:

pip install tensorflow-gpu

通過以下綜合教程瞭解如何使用TensorFlow建立神經網路模型:

  • 利用TensorFlow實現神經網路簡介

https://www.analyticsvidhya.com/blog/2016/10/an-introduction-to-implementing-neural-networks-using-tensorflow/?utm_source=blog&utm_medium=comparison-deep-learning-framework

  • TensorFlow教程

https://www.tensorflow.org/tutorials

三、Keras

資料科學家必知的五大深度學習框架!(附插圖)

你習慣使用Python嗎?如果是,那麼可以立即連線到Keras。這是一個開啟你的深度學習之旅的完美的框架。

Keras用Python編寫,可以在TensorFlow(以及CNTK和Theano)之上執行。TensorFlow的介面具備挑戰性,因為它是一個低階庫,新使用者可能會很難理解某些實現。

而Keras是一個高層的API,它為快速實驗而開發。因此,如果希望獲得快速結果,Keras會自動處理核心任務並生成輸出。Keras支援卷積神經網路和遞迴神經網路,可以在CPU和GPU上無縫執行。

深度學習的初學者經常會抱怨:無法正確理解複雜的模型。如果你是這樣的使用者,Keras便是你的正確選擇!它的目標是最小化使用者操作,並使其模型真正容易理解。

可以將Keras中的模型大致分為兩類:

1. 序列化

模型的層是按順序定義的。這意味著當我們訓練深度學習模型時,這些層次是按順序實現的。下面是一個順序模型的示例:

from keras.models import Sequential from keras.layers import Dense model = Sequential() # we can add multiple layers to the model using .add() model.add(Dense(units=64, activation='relu', input_dim=100)) model.add(Dense(units=10, activation='softmax'))

2. Keras 函式API

用於定義複雜模型,例如多輸出模型或具有共享層的模型。請檢視下面的程式碼來理解這一點:

from keras.layers import Input, Dense from keras.models import Model inputs = Input(shape=(100,)) # specify the input shape x = Dense(64, activation='relu')(inputs) predictions = Dense(10, activation='softmax')(x) model = Model(inputs=inputs, outputs=predictions)

Keras有多種架構,如下所述,用於解決各種各樣的問題,其中包括我的最愛之一:影像分類

  • VGG 16

  • VGG 19

  • InceptionV 3

  • Mobilenet及更多

可以參考官方的Keras文件來詳細瞭解框架是如何工作的。

Keras官方中文文件

https://keras.io/zh/

僅需一行程式碼即可安裝Keras:

pip install keras

對Keras感興趣?可以繼續學習以下教程,瞭解如何使用Keras實現神經網路

  • 基於Keras的神經網路優化

https://www.analyticsvidhya.com/blog/2016/10/tutorial-optimizing-neural-networks-using-keras-with-image-recognition-case-study/?utm_source=blog&utm_medium=comparison-deep-learning-framework

四、PyTorch

資料科學家必知的五大深度學習框架!(附插圖)

還記得我們說過TensorFlow是目前最常用的深度學習框架嗎?但是如果考慮到資料科學家和開發者們擁抱Facebook的PyTorch的速度,那它可能很快就要落伍了。

我是PyTorch的擁護者,在我所研究過的框架中,PyTorch最富靈活性。

PyTorch是Torch深度學習框架的一個介面,可用於建立深度神經網路和執行張量計算。Torch是一個基於Lua的框架,而PyTorch則執行在Python上。

PyTorch是一個Python包,它提供張量計算。張量是多維陣列,就像numpy的ndarray一樣,它也可以在GPU上執行。PyTorch使用動態計算圖,PyTorch的Autograd軟體包從張量生成計算圖,並自動計算梯度。

與特定功能的預定義的圖表不同,PyTorch提供了一個框架,用於在執行時構建計算圖形,甚至在執行時也可以對這些圖形進行更改。當不知道建立神經網路需要多少記憶體的情況下,這個功能便很有價值。

可以使用PyTorch處理各種來自深度學習的挑戰,包括:

  • 影像(檢測、分類等)

  • 文字(NLP)

  • 增強學習

想知道如何在機器上安裝PyTorch,請稍等片刻。安裝步驟取決於作業系統、需要安裝的PyTorch包、正在使用的工具/語言、CUDA等其他一些因素。

根據此連結的內容檢查PyTorch安裝步驟,準備好框架之後,再檢查以下兩個資源,利用PyTorch構建第一個神經網路

  • 學習如何使用PyTorch來構建快速和準確的神經網路-4個不錯的案例研究

https://www.analyticsvidhya.com/blog/2019/01/guide-pytorch-neural-networks-case-studies/https://www.analyticsvidhya.com/blog/2019/01/guide-pytorch-neural-networks-case-studies/?utm_source=blog&utm_medium=comparison-deep-learning-framework

  • PyTorch教程

https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html

五、Caffe

資料科學家必知的五大深度學習框架!(附插圖)

CAFE是另一個面向影像處理領域的、比較流行的深度學習框架,它是由賈陽青(Yangqing Jia)在加利福尼亞伯克利大學讀博士期間開發的。同樣,它也是開源的!

首先,Caffe對遞迴網路和語言建模的支援不如上述三個框架。但是Caffe最突出的地方是它的處理速度和從影像中學習的速度。

資料科學家必知的五大深度學習框架!(附插圖)

Caffe可以每天處理超過六千萬張影像,只需單個NVIDIA K40 GPU,其中 1毫秒/影像用於推理,4毫秒/影像用於學習。

它為C、Python、MATLAB等介面以及傳統的命令列提供了堅實的支援。

通過Caffe Model Zoo框架可訪問用於解決深度學習問題的預訓練網路、模型和權重。這些模型可完成下述任務:

  • 簡單的遞迴

  • 大規模視覺分類

  • 用於影像相似性的SiameSE網路

  • 語音和機器人應用

有關更多細節,您可以檢視Caffe相關文件。

  • Caffe安裝文件

http://caffe.berkeleyvision.org/installation.html

  • Caffe文件

http://caffe.berkeleyvision.org/

六、Deeplearning4j

資料科學家必知的五大深度學習框架!(附插圖)

我們社群中有Java程式設計師嗎?這是你理想的深度學習框架!Deeplearning4j是用Java實現的,因此與Python相比效率更高。它使用稱為ND4J的張量庫,提供了處理n維陣列(也稱為張量)的能力。該框架還支援CPU和GPU。

Deeplearning4j將載入資料和訓練演算法的任務作為單獨的過程處理,這種功能分離提供了很大的靈活性。誰都喜歡這樣,尤其是在深度學習中!

Deeplearning4j也適用於不同的資料型別:

  • 影像

  • CSV

  • 純文字等

可以使用Deeplearning4j構建的深度學習模型有:

  • 卷積神經網路(CNNs)

  • 遞迴神經網路(RNNs)

  • 長短時記憶(LSTM)等多種結構

閱讀Deeplearning4j的安裝步驟和文件,開始使用這個框架。

  • Deeplearning4j安裝步驟

https://deeplearning4j.org/docs/latest/deeplearning4j-config-gpu-cpu

  • Deeplearning4j文件

https://deeplearning4j.org/docs/latest/deeplearning4j-quickstart

七、五種深度學習框架之間的對比

上面已經討論了五個最流行的深度學習框架,每一個都獨具特性,那麼資料科學家會如何做出選擇呢。

你決定用哪一種了嗎?或者你打算換一個全新的框架?不管是什麼情況,瞭解每個框架的優點和侷限性非常重要。如果選對了正確的框架,當遇到錯誤時,便不會感到驚訝了!

某些框架在處理影像資料時工作得非常好,但無法解析文字資料;某些框架在處理影像和文字資料時,效能很好,但是它們的內部工作原理很難理解。

在本節中,將使用以下標準比較這五個深度學習框架:

  • 社群支援力度

  • 使用的語言

  • 介面

  • 對預訓練的模型的支援

下表對這些框架進行了比較:

資料科學家必知的五大深度學習框架!(附插圖)

對於選擇使用的框架來說,這是一個非常方便的對比表!

所有這些框架都是開源的,支援CUDA,並有預訓練的模型。但是,應該如何正確開始,應該選擇哪個框架來構建(初始)深度學習模型?讓我們來做詳細的討論!

  • TensorFlow

我們先來說說TensortFlow。TensorFlow能處理影像以及基於序列的資料,如果你是深度學習的初學者,或者對線性代數微積分等數學概念沒有堅實的基礎,那麼TensortFlow的學習曲線將會令人畏懼地陡峭。

我完全理解,對於剛起步的人來說,這可能太複雜。但我建議你不斷練習,不斷探索社群,並繼續閱讀文章以掌握TensorFlow的訣竅。一旦對這個框架有了一個很好的理解,實現一個深度學習模型對你來說將是易如反掌。

  • Keras

Keras是一個非常堅實的框架,可以開啟深度學習之旅。如果你熟悉Python,並且沒有進行一些高階研究或開發某種特殊的神經網路,那麼Keras適合你。

Keras的重點更多地放在取得成果上,而不是被模型的複雜之處所困擾。因此,如果有一個與影像分類或序列模型相關的專案,可以從Keras開始,很快便可以構建出一個工作模型。

Keras也整合在TensorFlow中,因此也可以使用tf.keras.構建模型。

  • Caffe

在影像資料上構建深度學習模型時,Caffe是不錯的選擇。但是,當談到遞迴神經網路語言模型時,Caffe落後於我們討論過的其他框架。Caffe的主要優點是,即使沒有強大的機器學習微積分知識,也可以構建出深度學習模型。

Caffe主要用於建立和部署行動電話和其他計算受限平臺的深度學習模型。

  • Deeplearning4j

正如之前所述,DeepleEarning4J是Java程式設計師的天堂。它為CNNS、RNN和LSTMS等不同的神經網路提供了大量的支援,它在不犧牲速度的情況下可以處理大量資料。聽起來不錯,有機會通過!

後記及圖示資訊圖

除了文中提及的五種深度學習框架之外,你有沒有其他的深度學習框架?很想聽聽你的想法和反饋。請在下面的評論部分與我聯絡。

記住,這些框架基本上只是幫助我們實現最終目標的工具,正確地選擇它們可以減少大量的精力和時間。

最後附上資訊插圖,詳細介紹了我們所涵蓋的每個深度學習框架。下載它,列印它,並在下次構建深度學習模型時使用它吧!

資料科學家必知的五大深度學習框架!(附插圖)

原文標題:

Top 5 Amazing Deep Learning Frameworks Every Data Scientist Must Know! (with Illustrated Infographic)

原文連結:

https://www.analyticsvidhya.com/blog/2019/03/deep-learning-frameworks-comparison/

相關文章