作者 | 劉昕
深度學習本質上是深層的人工神經網路，它不是一項孤立的技術，而是數學、統計機器學習、電腦科學和人工神經網路等多個領域的綜合。深度學習的理解，離不開本科數學中最為基礎的數學分析（高等數學）、線性代數、概率論和凸優化；深度學習技術的掌握，更離不開以程式設計為核心的動手實踐。沒有紮實的數學和計算機基礎做支撐，深度學習的技術突破只能是空中樓閣。
所以，想在深度學習技術上有所成就的初學者，就有必要了解這些基礎知識之於深度學習的意義。除此之外，我們的專業路徑還會從結構與優化的理論維度來介紹深度學習的上手，並基於深度學習框架的實踐淺析一下進階路徑。
最後，本文還將分享深度學習的實踐經驗和獲取深度學習前沿資訊的經驗。
數學基礎
如果你能夠順暢地讀懂深度學習論文中的數學公式，可以獨立地推導新方法，則表明你已經具備了必要的數學基礎。
掌握數學分析、線性代數、概率論和凸優化四門數學課程包含的數學知識，熟知機器學習的基本理論和方法，是入門深度學習技術的前提。因為無論是理解深度網路中各個層的運算和梯度推導，還是進行問題的形式化或是推導損失函式，都離不開紮實的數學與機器學習基礎。
-
數學分析：在工科專業所開設的高等數學課程中，主要學習的內容為微積分。對於一般的深度學習研究和應用來說，需要重點溫習函式與極限、導數（特別是複合函式求導）、微分、積分、冪級數展開、微分方程等基礎知識。在深度學習的優化過程中，求解函式的一階導數是最為基礎的工作。當提到微分中值定理、Taylor公式和拉格朗日乘子的時候，你不應該只是感到與它們似曾相識。這裡推薦同濟大學第五版的《高等數學》教材。
-
線性代數：深度學習中的運算常常被表示成向量和矩陣運算。線性代數正是這樣一門以向量和矩陣作為研究物件的數學分支。需要重點溫習的包括向量、線性空間、線性方程組、矩陣、矩陣運算及其性質、向量微積分。當提到Jacobian矩陣和Hessian矩陣的時候，你需要知道確切的數學形式；當給出一個矩陣形式的損失函式時，你可以很輕鬆的求解梯度。這裡推薦同濟大學第六版的《線性代數》教材。
-
概率論：概率論是研究隨機現象數量規律的數學分支，隨機變數在深度學習中有很多應用，無論是隨機梯度下降、引數初始化方法（如Xavier），還是Dropout正則化演算法，都離不開概率論的理論支撐。除了掌握隨機現象的基本概念（如隨機試驗、樣本空間、概率、條件概率等）、隨機變數及其分佈之外，還需要對大數定律及中心極限定理、引數估計、假設檢驗等內容有所瞭解，進一步還可以深入學習一點隨機過程、馬爾可夫隨機鏈的內容。這裡推薦浙江大學版的《概率論與數理統計》。
-
凸優化：結合以上三門基礎的數學課程，凸優化可以說是一門應用課程。但對於深度學習而言，由於常用的深度學習優化方法往往只利用了一階的梯度資訊進行隨機梯度下降，因而從業者事實上並不需要多少“高深”的凸優化知識。理解凸集、凸函式、凸優化的基本概念，掌握對偶問題的一般概念，掌握常見的無約束優化方法如梯度下降方法、隨機梯度下降方法、Newton方法，瞭解一點等式約束優化和不等式約束優化方法，即可滿足理解深度學習中優化方法的理論要求。這裡推薦一本教材，Stephen Boyd的《Convex Optimization》。
-
機器學習：歸根結底，深度學習只是機器學習方法的一種，而統計機器學習則是機器學習領域事實上的方法論。以監督學習為例，需要你掌握線性模型的迴歸與分類、支援向量機與核方法、隨機森林方法等具有代表性的機器學習技術，並瞭解模型選擇與模型推理、模型正則化技術、模型整合、Bootstrap方法、概率圖模型等。深入一步的話，還需要了解半監督學習、無監督學習和強化學習等專門技術。這裡推薦一本經典教材《The elements of Statistical Learning》。
計算機基礎
深度學習要在實戰中論英雄，因此具備GPU伺服器的硬體選型知識，熟練操作Linux系統和進行Shell程式設計，熟悉C++和Python語言，是成長為深度學習實戰高手的必備條件。當前有一種提法叫“全棧深度學習工程師”，這也反映出了深度學習對於從業者實戰能力的要求程度：既需要具備較強的數學與機器學習理論基礎，又需要精通計算機程式設計與必要的體系結構知識。
-
程式語言：在深度學習中，使用最多的兩門程式語言分別是C++和Python。迄今為止，C++語言依舊是實現高效能系統的首選，目前使用最廣泛的幾個深度學習框架，包括Tensorflow、Caffe、MXNet，其底層均無一例外地使用C++編寫。而上層的指令碼語言一般為Python，用於資料預處理、定義網路模型、執行訓練過程、資料視覺化等。當前，也有Lua、R、Scala、Julia等語言的擴充套件包出現於MXNet社群，呈現百花齊放的趨勢。這裡推薦兩本教材，一本是《C++ Primer第五版》，另外一本是《Python核心程式設計第二版》。
-
Linux作業系統：深度學習系統通常執行在開源的Linux系統上，目前深度學習社群較為常用的Linux發行版主要是Ubuntu。對於Linux作業系統，主要需要掌握的是Linux檔案系統、基本命令列操作和Shell程式設計，同時還需熟練掌握一種文字編輯器，比如VIM。基本操作務必要做到熟練，當需要批量替換一個檔案中的某個字串，或者在兩臺機器之間用SCP命令拷貝檔案時，你不需要急急忙忙去開啟搜尋引擎。這裡推薦一本工具書《鳥哥的Linux私房菜》。
-
CUDA程式設計：深度學習離不開GPU平行計算，而CUDA是一個很重要的工具。CUDA開發套件是NVidia提供的一套GPU程式設計套件，實踐當中應用的比較多的是CUDA-BLAS庫。這裡推薦NVidia的官方線上文件http://docs.nvidia.com/cuda/。
-
其他計算機基礎知識：掌握深度學習技術不能只滿足於使用Python呼叫幾個主流深度學習框架，從原始碼著手去理解深度學習演算法的底層實現是進階的必由之路。這個時候，掌握資料結構與演算法（尤其是圖演算法）知識、分散式計算（理解常用的分散式計算模型），和必要的GPU和伺服器的硬體知識（比如當我說起CPU的PCI-E通道數和GPU之間的資料交換瓶頸時，你能心領神會），你一定能如虎添翼。
深度學習入門
接下來分別從理論和實踐兩個角度來介紹一下深度學習的入門。
-
深度學習理論入門：我們可以用一張圖（圖1）來回顧深度學習中的關鍵理論和方法。從MCP神經元模型開始，首先需要掌握卷積層、Pooling層等基礎結構單元，Sigmoid等啟用函式，Softmax等損失函式，以及感知機、MLP等經典網路結構。接下來，掌握網路訓練方法，包括BP、Mini-batch SGD和LR Policy。最後還需要了解深度網路訓練中的兩個至關重要的理論問題：梯度消失和梯度溢位。
以卷積神經網路為例，我們用圖2來展示入門需要掌握的知識。起點是Hubel和Wiesel的對貓的視覺皮層的研究，再到日本學者福島邦彥神經認知機模型（已經出現了卷積結構），但是第一個CNN模型誕生於1989年，1998年誕生了後來被大家熟知的LeNet。隨著ReLU和Dropout的提出，以及GPU和大資料所帶來的歷史機遇，CNN在2012年迎來了歷史性的突破——誕生了AlexNet網路結構。2012年之後，CNN的演化路徑可以總結為四條：1. 更深的網路；2. 增強卷積模的功能以及上訴兩種思路的融合ResNet和各種變種；3. 從分類到檢測，最新的進展為ICCV 2017的Best Paper Mask R-CNN；4. 增加新的功能模組。
-
深度學習實踐入門：掌握一個開源深度學習框架的使用，並進一步的研讀程式碼，是實際掌握深度學習技術的必經之路。當前使用最為廣泛的深度學習框架包括Tensorflow、Caffe、MXNet和PyTorch等。框架的學習沒有捷徑，按照官網的文件step by step配置及操作，參與GitHub社群的討論，遇到不能解答的問題及時Google是快速實踐入門的好方法。
初步掌握框架之後，進一步的提升需要依靠於具體的研究問題，一個短平快的策略是先刷所在領域權威的Benchmark。例如人臉識別領域的LFW和MegaFace，影像識別領域與物體檢測領域的ImageNet、Microsoft COCO，影像分割領域的Pascal VOC等。通過復現或改進別人的方法，親手操練資料的準備、模型的訓練以及調參，能在所在領域的Benchmark上達到當前最好的結果，實踐入門的環節就算初步完成了。
後續的進階，就需要在實戰中不斷地去探索和提升了。例如：熟練的處理大規模的訓練資料，精通精度和速度的平衡，掌握調參技巧、快速復現或改進他人的工作，能夠實現新的方法等等。
深度學習實戰經驗
在這裡，分享四個方面的深度學習實戰經驗。
1. 充足的資料。大量且有標註的資料，依舊在本質上主宰著深度學習模型的精度，每一個深度學習從業者都需要認識到資料極端重要。獲取資料的方式主要有三種：開放資料（以學術界開放為主，如ImageNet和LFW）、第三方資料公司的付費資料和結合自身業務產生的資料。
2. 熟練的程式設計實現能力。深度學習演算法的實現離不開熟練的程式設計能力，熟練使用Python進行程式設計是基礎。如果進一步的修改底層實現或增加新的演算法，則可能需要修改底層程式碼，此時熟練的C++程式設計能力就變得不可或缺。一個明顯的現象是，曾經只需要掌握Matlab就可以笑傲江湖的計算機視覺研究者，如今也紛紛需要開始補課學習Python和C++了。
3. 充裕的GPU資源。深度學習的模型訓練依賴於充裕的GPU資源，通過多機多卡的模型並行，可以有效的提高模型收斂速度，從而更快的完成演算法驗證和調參。一個專業從事深度學習的公司或實驗室，擁有數十塊到數百塊的GPU資源已經是普遍現象。
4. 創新的方法。以深度學習領域權威的ImageNet競賽為例，從2012年深度學習技術在競賽中奪魁到最後一屆2017競賽，方法創新始終是深度學習進步的核心動力。如果只是滿足於多增加一點資料，把網路加深或調幾個SGD的引數，是難以做出真正一流的成果的。
根據筆者的切身經歷，方法創新確實能帶來難以置信的結果。一次參加阿里巴巴組織的天池影像檢索比賽，筆者提出的一點創新——使用標籤有噪聲資料的新型損失函式，結果竟極大地提高了深度模型的精度，還拿到了當年的冠軍。
深度學習前沿
【前沿資訊的來源】
實戰中的技術進階，必需要了解深度學習的最新進展。換句話說，就是刷論文：除了定期刷Arxiv，刷代表性工作的Google Scholar的引用，關注ICCV、CVPR和ECCV等頂級會議之外，知乎的深度學習專欄和Reddit上時不時會有最新論文的討論（或者精彩的吐槽）。
一些高質量的公眾號，例如Valse前沿技術選介、深度學習大講堂、Paper Weekly等，也時常有深度學習前沿技術的推送，也都可以成為資訊獲取的來源。同時，關注學術界大佬LeCun和Bengio等人的Facebook/Quora主頁，關注微博大號“愛可可愛生活”等人，也常有驚喜的發現。
【建議關注的重點】
-
新的網路結構。在以SGD為代表的深度學習優化方法沒有根本性突破的情況下，修改網路結構是可以較快提升網路模型精度的方法。2015年以來，以ResNet的各種改進為代表的各類新型網路結構如雨後春筍般湧現，其中代表性的有DenseNet、SENet、ShuffuleNet等。
-
新的優化方法。縱觀從1943年MCP模型到2017年間的人工神經網路發展史，優化方法始終是進步的靈魂。以誤差反向傳導（BP）和隨機梯度下降（SGD）為代表的優化技術的突破，或是Sigmoid/ReLU之後全新一代啟用函式的提出，都非常值得期待。筆者認為，近期的工作如《Learning gradient descent by gradient descent》以及SWISH啟用函式，都很值得關注。但能否取得根本性的突破，也即完全替代當前的優化方法或ReLU啟用函式，尚不可預測。
-
新的學習技術。深度強化學習和生成對抗網路（GAN）。最近幾周刷屏的Alpha Zero再一次展示了深度強化學習的強大威力，完全不依賴於人類經驗，在圍棋專案上通過深度強化學習“左右互搏”所練就的棋力，已經遠超過上一代秒殺一眾人類高手的AlghaGo Master。同樣的，生成對抗網路及其各類變種也在不停地預告一個學習演算法自我生成資料的時代的序幕。筆者所在的公司也正嘗試將深度強化學習和GAN相結合，用於跨模態的訓練資料的增廣。
-
新的資料集。資料集是深度學習演算法的練兵場，因此資料集的演化是深度學習技術進步的縮影。以人臉識別為例，後LFW時代，MegaFace和Microsoft Celeb-1M資料集已接棒大規模人臉識別和資料標籤噪聲條件下的人臉識別。後ImageNet時代，Visual Genome正試圖建立一個包含了物件、屬性、關係描述、問答對在內的視覺基因組。
作者簡介：劉昕，工學博士，畢業於中國科學院計算技術研究所，師從山世光研究員。主要從事計算機視覺技術和深度學習技術的研究與工業化應用，現擔任人工智慧初創公司中科視拓CEO。
本文為《程式設計師》原創文章，未經允許不得轉載，更多精彩文章請點選「閱讀原文」訂閱《程式設計師》