20篇頂級深度學習論文（附連結）

深度學習正值快速發展進化階段，新技術，新工具以及新的應用實現正在深刻改變著機器學習領域並不斷獲得累累碩果。

深度學習作為機器學習和統計學習的子領域，在最近幾年取得了長足的發展進步。雲端計算，強大的開源工具以及大量可用資料已經成為這些關鍵突破的槓桿。本文以（academic.microsoft.com）網站的深度學習論文被引次數統計為依據，選取了20篇頂級深度學習論文。值得注意的是，由於論文被引次數一直處於快速更新中，因此以被引次數作為文章價值體現的判斷必須要考慮論文的發表時間。

這20篇論文有75%以上進行的是深度學習和神經網路方面的研究，特別是卷積神經網路技術。有將近50%的論文進行的是機器視覺領域的模式識別應用研究。我相信，像TensorFlow，Theano這樣的工具以及GPU的進一步使用為資料科學家以及機器學習工程師們擴充研究領域鋪平了道路。

1.Deep Learning, by Yann L., Yoshua B. & Geoffrey H. (2015) (Cited: 5,716)

連結：

https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf

深度學習使得包含多處理層的計算模型能夠學到如何表示經過多層抽象的資料。這些方法顯著提升了最先進的語言識別，視覺影像識別，物體探測以及其他諸如藥物發現和基因組學的效果。

2.TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems, by Martín A., Ashish A. B., Eugene B. C., et al. (2015) (Cited: 2,423)

連結：http://download.tensorflow.org/paper/whitepaper2015.pdf

該系統非常靈活，可以用來表達包括深度神經網路模型的訓練和推理演算法在內的各種演算法，並已用於十幾個電腦科學及其他領域，包括語音識別，計算機視覺，機器人技術，資訊檢索，自然語言處理，地理資訊提取和計算藥物發現，以進行研究和部署機器學習系統到生產環境。

3.TensorFlow: a system for large-scale machine learning, by Martín A., Paul B., Jianmin C., Zhifeng C., Andy D. et al. (2016) (Cited: 2,227)

連結：https://www.usenix.org/system/files/conference/osdi16/osdi16-abadi.pdf%20rel=

TensorFlow支援大量應用程式，重點是深度神經網路的訓練和推理。一些Google服務在生產中使用了TensorFlow，我們已經將其作為開源專案釋出，並且它已經在機器學習研究中予以廣泛應用。

4.Deep learning in neural networks, by Juergen Schmidhuber (2015) (Cited: 2,196)

連結：https://arxiv.org/pdf/1404.7828.pdf

這一歷史調查簡明扼要地總結了相關工作，其中大部分來自於上一個千年。淺層和深層的學習器被其信用分配路徑的深度所區分，這些路徑是行為和效果之間可學習的、隨機關係鏈，我回顧了深度監督學習（也包括反向傳播的簡史），無監督學習，強化學習，進化計算，並間接調研了大型深度網路的編碼程式。

5.Human-level control through deep reinforcement learning, by Volodymyr M., Koray K., David S., Andrei A. R., Joel V et al (2015) (Cited: 2,086)

連結：https://web.stanford.edu/class/psych209/Readings/MnihEtAlHassibis15NatureControlDeepRL.pdf

這裡我們使用最近在訓練深度神經網路方面的進展來開發一種稱為深度Q網路的新型人工代理。它可以使用端到端強化學習直接從高維感官輸入中學習成功策略。我們在經典Atari 2600遊戲挑戰中測試了該代理。

6.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, by Shaoqing R., Kaiming H., Ross B. G. & Jian S. (2015) (Cited: 1,421)

連結：https://arxiv.org/pdf/1506.01497.pdf

在這項工作中，我們引入了一個區域提議網路（RPN），該網路與檢測網路共享全影像卷積特徵，從而實現了幾乎免費的區域提案。 RPN是一個完全卷積網路，可同時預測每個位置的物件邊界和物件評分。

7.Long-term recurrent convolutional networks for visual recognition and description, by Jeff D., Lisa Anne H., Sergio G., Marcus R., Subhashini V. et al. (2015) (Cited: 1,285)

連結：https://arxiv.org/pdf/1411.4389.pdf

當前模型假設了固定時空感受域或簡單的時間平均，並將其用於順序處理，反覆卷積模型具有“雙重深度”，因為它們可以在空間和時間“層”中組合。

8.MatConvNet: Convolutional Neural Networks for MATLAB, by Andrea Vedaldi & Karel Lenc (2015) (Cited: 1,148)

連結：https://arxiv.org/pdf/1412.4564.pdf

它將CNN的模組實現為易於使用的MATLAB函式，並提供了帶濾波器組、特徵池等等的程式用於計算線性卷積。文件概述了CNN及其在MatConvNet中的實現方式，同時給出了工具箱中每個運算塊的技術細節。

9.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, by Alec R., Luke M. & Soumith C. (2015) (Cited: 1,054)

連結：https://arxiv.org/pdf/1511.06434.pdf

本文希望縮小無監督學習與有監督學習的CNN成功之間的差距。我們引入了被稱作深卷積生成對抗網路的一類CNN，其擁有一定的架構約束，並證明他們是無監督學習的有力候選。

10.U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf R., Philipp F. &Thomas B. (2015) (Cited: 975)

連結：https://arxiv.org/pdf/1505.04597.pdf

深度網路的訓練效果需要數以千計的註釋訓練樣本作為支撐已是共識。本文提出了一個依賴於資料增強的網路和訓練策略以便更有效地使用可用的註釋樣本。

11.Conditional Random Fields as Recurrent Neural Networks, by Shuai Z., Sadeep J., Bernardino R., Vibhav V. et al (2015) (Cited: 760)

連結：http://www.robots.ox.ac.uk/~szheng/papers/CRFasRNN.pdf

本文引入了一種同時包含卷積神經網路（Convolutional Neural Networks）與基於條件隨機場（Conditional Random Fields）的概率影像模型的新型卷積神經網路。為此，我們將帶有高斯對勢的條件隨機場的平均場近似推斷作為迴圈神經網路。

12.Image Super-Resolution Using Deep Convolutional Networks, by Chao D., Chen C., Kaiming H. & Xiaoou T. (2014) (Cited: 591)

連結：https://arxiv.org/pdf/1501.00092.pdf

本文使用直接學習高/低解析度影像之間的端到端對映。該對映使用卷積神經網路，將低解析度影像作為輸入並輸出高解析度影像。

13.Beyond short snippets: Deep networks for video classification, by Joe Y. Ng, Matthew J. H., Sudheendra V., Oriol V., Rajat M. & George T. (2015) (Cited: 533)連結：https://arxiv.org/pdf/1503.08909.pdf

本文建立並評估了幾種深度神經網路架構，以整合比以前嘗試的更長時間的視訊影像資訊。

14.Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, by Christian S., Sergey I., Vincent V. & Alexander A A. (2017) (Cited: 520)

連結：https://arxiv.org/pdf/1602.07261.pdf

深度卷積神經網路在近年來影像識別效能提升方面起到了核心作用。通過三個殘差和一個inception-v4的集合，我們在ImageNet 分類挑戰賽中獲得了測試集上Top-5 錯誤率3.08%的成績。

15.Salient Object Detection: A Discriminative Regional Feature Integration Approach, by Huaizu J., Jingdong W., Zejian Y., Yang W., Nanning Z. & Shipeng Li. (2013) (Cited: 518)

連結：https://arxiv.org/pdf/1410.5926.pdf

本文將顯著圖計算看作是一個迴歸問題。我們的方法基於多層級影像分割，最優化監督學習方法，以將地區特徵向量對映為顯著性分數。

16.Visual Madlibs: Fill in the Blank Description Generation and Question Answering, by Licheng Y., Eunbyung P., Alexander C. B. & Tamara L. B. (2015) (Cited: 510)

連結：https://www.cvfoundation.org/openaccess/content_iccv_2015/papers/Yu_Visual_Madlibs_Fill_ICCV_2015_paper.pdf

本文引入了一個新的資料集，包含有360，001個關於10，738個影像的自然語言描述，即Visual Madlibs 資料集。該資料集使用已自動生成的空白填充模板收集一些目標描述，包括：人和物件，外觀，活動和互動，也包括整個場景或具有更廣泛背景的內容。

17.Asynchronous methods for deep reinforcement learning, by Volodymyr M., Adrià P. B., Mehdi M., Alex G., Tim H. et al. (2016) (Cited: 472)

連結：http://proceedings.mlr.press/v48/mniha16.pdf

效能最佳的方法、 actor-critic的非同步變體、超越了Atari領域的當前最佳表現，在單個多核CPU而非GPU上只需要一半的訓練時間。 此外，我們展示了actor-critic的非同步變體可以成功處理各種連續的電機控制問題，以及使用視覺輸入以在隨機的3D迷宮中導航的新任務。

18.Theano: A Python framework for fast computation of mathematical expressions., by by Rami A., Guillaume A., Amjad A., Christof A. et al (2016) (Cited: 451)

連結：https://arxiv.org/pdf/1605.02688.pdf

Theano是一個Python庫，允許高效地定義、優化和評估涉及多維陣列的數學表示式。 自推出以來，它一直是機器學習領域使用最多的CPU和GPU數學編譯器之一，並且效能穩步提高。

19.Deep Learning Face Attributes in the Wild, by Ziwei L., Ping L., Xiaogang W. & Xiaoou T. (2015) (Cited: 401)

連結：https://www.cvfoundation.org/openaccess/content_iccv_2015/papers/Liu_Deep_Learning_Face_ICCV_2015_paper.pdf

這個框架不僅比現有技術表現好得多，而且還揭示了有關學習臉部表徵的有價值的事實：

說明了不同的預訓練策略如何提高人臉定位（LNet）和屬性預測（ANet）的效能；
雖然LNet的濾波器僅用影像級屬性標籤進行微調，但它們在整個影像上的響應對映具有強烈的臉部位置指示。

20.Character-level convolutional networks for text classification, by Xiang Z., Junbo Jake Z. & Yann L. (2015) (Cited: 401)

連結：

http://papers.nips.cc/paper/5782-character-level-convolutional-networks-for-text-classification.pdf

本文提供了一個關於使用字元級卷積網路（ConvNets）進行文字分類的經驗性探索。 我們構建了幾個大規模資料集，以表明字元級卷積網路可以實現最先進或最具競爭力的結果。

原文釋出時間為：2018-05-23

本文來自雲棲社群合作伙伴“資料派THU”，瞭解相關資訊可以關注“資料派THU”。