精選合集標準
2016 : +30 引用 「+50」
2015 : +100 引用 「 +200」
2014 : +200 引用 「+400」
2013 : +300 引用 「 +600」
2012 : +400 引用 「 +800」
2011 : +500 引用 「 +1000」
2010 : +600 引用 「 +1200」
目錄
調查 / 回顧
理論 / 未來
最佳化 / 正則化
網路模型
影像
圖片說明
影片 / 人類行為
詞嵌入
機器翻譯 / 問答
語音 / 及其他
強化學習 / 機器人
無監督
硬體 / 軟體
推薦論文
總共有85篇論文，不包括「硬體 / 軟體」論文以及「推薦論文」。
一、調查 / 回顧
1.論文： 深度學習
Deep learning
作者：Ian.Goodfellow et al.
2.論文：深度學習
Deep learning (2015)
作者：Y. LeCun, Y. Bengio 以及 G. Hinton
注：機器之心已經翻譯過本文：Nature重磅：Hinton、LeCun、Bengio三巨頭權威科普深度學習
3. 神經網路中的深度學習：概述
Deep learning in neural networks: An overview
作者：J. Schmidhuber
4. 表徵學習：回顧及新觀點
Representation learning: A review and new perspectives
作者： Y. Bengio et al.
摘要：通常來說，機器學習演算法的成功依賴於資料的表徵，我們假設這是因為不同的表徵方式會捲入並多少掩蓋資料背後變化的不同解釋因素。雖然專業領域的知識可以幫助設計表徵方式，但是，通用的先驗知識也可以，並且對 AI 的追求正在激發更強大的實現了這些先驗知識的表徵學習演算法的設計。這篇論文回顧了無監督特徵學習和深度學習領域最近成果，包括機率模型、自動編碼器、流形學習和深度網路的進展。這也激發了人們去解決長期懸而未決的問題，也就是學習好的表徵、計算表徵（比如推理）的合適目標這個問題，也促進了表徵學習，密度估計和流型學習之間的幾何連線。索引詞——深度學習，表徵學習，特徵學習，無監督學習，玻耳茲曼機「Boltzmann Machine」，自動編碼器，神經網路。
二、理論/未來
5. 在神經網路中提取知識
Distilling the knowledge in a neural network
作者：G. Hinton et al.
摘要：一個非常簡單的能改善幾乎任何機器學習演算法表現的方法，就是訓練許多基於相同資料集的模型，並取這些模型的預測平均值。不幸的，使用全部模型來進行預測是笨拙的，而且允許大量使用者部署的計算成本太昂貴，特別是當個體模型是大的神經網路的時候。Caruana 和他的合作者已經表明，有可能將一個集合中的知識壓縮到一個單獨模型中，部署起來也容易得多，而且我們使用了不同壓縮技巧進一步擴充套件了這一方法。在MNIST上，我們取得了一些令人吃驚的成功，而且我們展示了可以顯著改善一個重度使用商業系統的聲學模型，方法就是將集合中的知識概括進一個單獨模型。我們也介紹了一個新型集合，由一個或更多的全模型以及許多學會區分識別細粒度類別（全模型做不到）的專家模型組成。可以對這些專家模型進行快速、並行訓練。
6. 深度神經網路很易受騙：高信度預測無法識別的圖片
Deep neural networks are easily fooled: High confidence predictions for unrecognizable images
作者：A. Nguyen et al.
7. 深度神經網路特徵的可遷移性如何？
How transferable are features in deep neural networks? (2014),
作者：J. Yosinski et al.
8. 細節魔鬼的迴歸：深挖卷積網路
Return of the Devil in the Details: Delving Deep into Convolutional Nets (2014)
作者：K. Chatfield et al.
9. 為什麼無監督預訓練對深度學習有幫助？
Why does unsupervised pre-training help deep learning (2010)
作者：D. Erhan et al. (Bengio)
10. 理解訓練深度前饋神經網路的難點
Understanding the difficulty of training deep feedforward neural networks (2010)
作者：X. Glorot and Y. Bengio
三、最佳化/正則化
11. Batch Normalization 演算法：透過減少內部協變數轉化加速深度網路的訓練
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift (2015)
作者：S. Loffe and C. Szegedy (Google)
12. 深度探入糾正器：在 Imagenet 分類中超過人類表現
Delving deep into rectifiers: Surpassing human-level performance on imagenet classification (2015)
作者：K. He et al.(Microsoft)
13. Dropout：一個預防神經網路過擬合的簡單方式
Dropout: A simple way to prevent neural networks from overfitting (2014)
作者：N. Srivastava et al. (Hinton)
摘要：帶有大量引數的深度神經網路是非常有力的機器學習系統。但是，這類網路中存在一個嚴重的問題，過度擬合。大型網路採用緩慢，因此，很難透過測試時集合許多不同大型神經網路的預測來解決過度擬合問題。Dropout是一個解決辦法。其中關鍵思想是，在訓練過程中，從神經網路中隨機放棄單元（以及它們的連線）。這能防止單元過於適應。在訓練過程中，放棄來自指數數量的不同“變薄的”神經網路的樣本。測試時，簡單使用一個單獨的帶有較小權重的變薄網路，就很容易近似平均所有這些變瘦網路預測的效果。這顯著減輕了過度擬合，也改進了其他正則化方法。我們也表明，這一方法改善了神經網路在監督學習任務（視覺、語音識別、文件分類以及計算生物學）方面的表現，在許多基準資料組上的成績目前達到最先進水平。
14. Adam：一個隨機最佳化的方法
Adam: A method for stochastic optimization (2014)
作者：D. Kingma and J. Ba
15. 視覺識別中深度卷積網路的空間金字塔池化
Spatial pyramid pooling in deep convolutional networks for visual recognition (2014)
作者：K. He et al.
16. 論深度學習領域初始化和動量的重要性
On the importance of initialization and momentum in deep learning (2013)
作者：I. Sutskever et al. (Hinton)
17. 使用 Dropconnect 的神經網路正則化
Regularization of neural networks using dropconnect (2013)
作者：L. Wan et al. (LeCun)
18. 透過預防特徵檢測器的互相適應改善神經網路
Improving neural networks by preventing co-adaptation of feature detectors (2012)
作者：G. Hinton et al.
19. 超引數最最佳化的隨機搜尋
Random search for hyper-parameter optimization (2012)
作者：J. Bergstra and Y. Bengio
20. 影像識別中的深度殘差學習
Deep residual learning for image recognition (2016)
作者：K. He et al. (Microsoft)
21. 用於物體精準檢測和分割的基於區域的卷積網路
Region-based convolutional networks for accurate object detection and segmentation (2016)
作者：R. Girshick et al.(Microsoft)
22.深入卷積網路
Going deeper with convolutions (2015)
作者：C. Szegedy et al. (Google)
23. 快速 R-CNN 網路
Fast R-CNN (2015)
作者： R. Girshick (Microsoft)
24. 用於語義分割的飽和卷積網路
Fully convolutional networks for semantic segmentation (2015)
作者：J. Long et al.
25. 大規模影像識別的深度卷積網路
Very deep convolutional networks for large-scale image recognition (2014)
作者：K. Simonyan and A. Zisserman
26. OverFeat：使用卷積網路融合識別、本地化和檢測
OverFeat: Integrated recognition, localization and detection using convolutional networks (2014)
作者：P. Sermanet et al.(LeCun)
27. 視覺化以及理解卷積網路
Visualizing and understanding convolutional networks (2014)
作者：M. Zeiler and R. Fergus
28. Maxout 網路
Maxout networks (2013)
作者：I. Goodfellow et al. (Bengio)
29. Network In Network 深度網路架構
Network in network (2013)
作者：M. Lin et al.
30. 使用深度卷積神經網路做 ImageNet 分類
ImageNet classification with deep convolutional neural networks (2012)
作者：A. Krizhevsky et al. (Hinton)
31. 大規模分散式深度網路
Large scale distributed deep networks (2012)
作者：J. Dean et al.
摘要：近期在無監督特徵學習和深度學習上的研究表明，在大規模模型上的訓練能夠急劇改善效能。在此論文中，我們考慮了使用成千上萬個 CPU 核訓練一個帶有數十億引數的深度網路的問題。我們開發了一個名為 DistBelief 的軟體框架，能夠利用數千臺機器的計算叢集訓練大規模模型。在這一框架內，我們開發了兩種大規模分佈訓練的演算法：（i）Downpour SGD，這是一個非同步隨機梯度下降過程，支援眾多模型副本；（ii）Sandblaster，這是一個支援多樣分佈批處理最佳化程式的框架，包括一個 L-BFGS 分散式實施方案。Downpour SGC 和 Sandblaster L-BFGS 都增加了深度網路訓練的規模和速度。我們已經成功的使用這一系統訓練了一個比先前報告中大 30 倍的深度網路，並且在 ImageNet 挑戰賽上取得了最頂尖的表現，這是一個擁有 1600 萬影像和 21k 分類的視覺物體識別任務。還顯示出，在商業化語音識別服務中使用同一技術能夠急加速一個較小的深度網路的訓練。儘管我們專注於這些方法應用於大型神經網路並報導效能，在下面的演算法可應用於任何基於梯度的機器學習演算法。
32. 深而稀疏的修正神經網路
Deep sparse rectifier neural networks (2011)
作者：X. Glorot et al. (Bengio)
33. 使用卷積神經網路在自然環境下閱讀文字
Reading text in the wild with convolutional neural networks (2016)
作者：M. Jaderberg et al. (DeepMind)
四、影像
34. 使用卷積神經網路在自然環境下閱讀文字
Reading text in the wild with convolutional neural networks (2016)
作者：M. Jaderberg et al. (DeepMind)
摘要：在此論文中，我們提供了一個在自然場景影像和基於影像檢索文字的發現——本地化和文字識別的端到端系統。這個系統基於一個用於檢測的區域提議機制和用於識別的深度卷積神經網路。我們的途徑使用了一個建議生成技術間的互補性結合，用於保證高查全率，還有一個用於改善精確率的快速後續過濾階段。為了做到識別和建議排序，我們訓練了非常大的卷積神經網路同時在全部提議區域完成單詞識別，這不同於過去基於系統的字元分類器。這些網路僅僅在經由一個合成的文字生成引擎產生的資料上進行訓練，不需要人類標記的資料。對我們途徑階段的分析顯示，自始至終的效能表現都是最頂尖的。我們在一系列標準的端到端文字識別基準和基於文字的影像檢索資料集上進行了嚴格的實驗，結果顯示要比之前的所有方法都有大幅度的改善。最終，我們展示了一個這一文字識別系統在現實中的應用，能夠透過一個文字查詢立即搜尋到數千小時的新聞片段。
35. Imagenet 大規模視覺識別挑戰賽
Imagenet large scale visual recognition challenge (2015)
作者：O. Russakovsky et al.
36. 更快速的 R-CNN 網路：使用區域建議網路的實時物體檢測
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks (2015)
作者： S. Ren et al.
37. DRAW：一個用於影像生成的迴圈神經網路
DRAW: A recurrent neural network for image generation (2015)
作者：K. Gregor et al.
38. 對精確的物體檢測和語義切割更為豐富的特徵分層
Rich feature hierarchies for accurate object detection and semantic segmentation (2014)
作者： R. Girshick et al.
39. 使用卷積神經網路學習和遷移中層影像表徵
Learning and transferring mid-Level image representations using convolutional neural networks (2014)
作者：M. Oquab et al.
40. DeepFace：在面部驗證任務中接近人類表現
DeepFace: Closing the Gap to Human-Level Performance in Face Verification (2014)
作者：Y. Taigman et al. (Facebook)
41. Decaf：一個用於通用視覺識別的深度卷積啟用特徵
Decaf: A deep convolutional activation feature for generic visual recognition (2013)
作者：J. Donahue et al.
42. 為場景標註學習層級特徵
Learning Hierarchical Features for Scene Labeling (2013)
作者：C. Farabet et al. (LeCun)
43. 為識別學習中層特徵（2010），Y.Boureau（LeCun）
Learning mid-level features for recognition (2010)
作者： Y. Boureau (LeCun)
五、圖片說明
44. 顯示、注意以及說明：帶有視覺注意模型的神經影像說明生成
Show, attend and tell: Neural image caption generation with visual attention (2015)
作者：K. Xu et al. (Bengio)
45. 顯示和說明：一個神經影像說明生成器
Show and tell: A neural image caption generator (2015)
作者：O. Vinyals et al.
摘要：在人工智慧領域，自動描述一張影像的內容是一個基礎問題，它涉及到了計算機視覺和自然語言處理的結合。在此論文中，我們提出了一個基於深度迴圈架構的生成模型，結合瞭如今在計算機視覺和機器翻譯的最新進展，這個模型能夠用於生成影像的自然描述。訓練出的模型將最大化的接近給定訓練影像的的描述語句。在數個資料集上的實驗都顯示出了這一模型僅僅從影像描述中學習到的準確率和語言流暢程度。我們的模型相當的準確，在質量和數量上我們都進行了驗證。例如，當前最前沿的方法在Pascal 資料集上的 BLEU-1 分數（分數越高越好）是 25，我們的方法達到了 59 分，可相比於人類的表現 69 分。同樣，在 Flickr30K 上的表現從 56 分，改善到了 66 分；在 SBU 上的表現從 19 改善到了 28。最終，在最新發布的 COCO 資料集上，我們得到了 27.7 的 BLEU-4 分數，這是目前最前沿的水平。
46. 用於視覺識別和描述的長期迴圈卷積網路
Long-term recurrent convolutional networks for visual recognition and description (2015)
作者：J. Donahue et al.
47. 可生成影像說明的深度視覺-語義校準模型
Deep visual-semantic alignments for generating image descriptions (2015)
作者：A. Karpathy and L. Fei-Fei
六、影片 / 人類行為
48. 利用卷積神經網路進行大規模影片分類（2014）
Large-scale video classification with convolutional neural networks (2014)
作者：A. Karpathy et al. (FeiFei)
摘要：在解決影像識別問題方面，卷積神經網路（CNNs）已被證實是一類功能強大的模型。在這些研究結論的鼓舞下，我們用487類、100萬個YouTube影片，經驗評估了CNNs 在大規模影片分類任務中的表現。我們研究了多個方法將 CNN 的連通性擴充套件到時間域來利用本地時空資訊，並且認為，一種 multiresolution 凹架構有望加速訓練速度。與基於強特徵的基線相比較，我們最好的時空網路表現不僅有了顯著提升（ (55.3% 到 63.9%)），而且讓人驚訝的是，與 單框模型相比較，表現也有了適度提升（59.3% 到 60.9%）。透過用 UCF- 101 Action Recognition 資料組重新訓練頂層，我們還進一步研究了最好模型的泛化情況，結果發現與 UCF-101 基線模型相比較，其表現從43.9%提升到了63.3%。
49. DeepPose：利用深度神經網路評估人類姿勢
DeepPose: Human pose estimation via deep neural networks (2014)
作者：A. Toshev and C. Szegedy (Google)
50. 用於影片中動作識別的雙流卷積網路
Two-stream convolutional networks for action recognition in videos (2014)
作者：K. Simonyan et al.
51. 使用可穿戴感測器對人類活動識別的調查
A survey on human activity recognition using wearable sensors (2013)
作者：O. Lara and M. Labrador
52. 用於人類動作識別的 3D 卷積神經網路
3D convolutional neural networks for human action recognition (2013)
作者：S. Ji et al.
53. 帶有改進軌跡的動作識別
Action recognition with improved trajectories (2013)
作者：H. Wang and C. Schmid
54. 用獨立子空間分析，學習用於動作識別的等級恆定的時空特徵
Learning hierarchical invariant spatio-temporal features for action recognition with independent subspace analysis (2011)
作者：Q. Le et al
七、詞嵌入
55. Glove: 用於詞表徵的全域性向量
Glove: Global vectors for word representation (2014)
作者：J. Pennington et al.
56. 句子和文件的分散式表示
Distributed representations of sentences and documents (2014)
作者：Q. Le and T. Mikolov (Google)
摘要：很多機器學習演算法都需要將輸入表示成一個固定長度的特徵向量。對於文字學習來說，最常用的一種方法是用詞袋模型來表示。不管詞袋模型多麼流行，其存在兩個弱點：一是丟失了詞序資訊，二是忽略了詞義。比如，「powerful」，「strong」和「Paris」都是同等地位的。本文，我們提出了一種稱為段落向量的無監督學習演算法，旨在從變長度的長文字中學習其固定長度的特徵表示，比如句子，段落和文件。我們的演算法透過預測文件中的詞來將每一篇文件表示成一個稠密的向量。這種思路幫助我們的演算法解決了詞袋模型的缺點。實驗結果表面段落向量演算法比詞袋模型和其他文字表示的模型都要出眾。最後，我們在幾個文字分類和情感分析任務上得到了最優結果。
57. 詞、短語及其合成性的分散式表徵
Distributed representations of words and phrases and their compositionality (2013)
作者：T. Mikolov et al. (Google)
58. 有效評估詞在向量空間中的表徵
Efficient estimation of word representations in vector space (2013)
作者：T. Mikolov et al. (Google)
59. 詞表徵：一個針對半監督學習的簡單且通用的方法
Word representations: a simple and general method for semi-supervised learning (2010)
作者：J. Turian (Bengio)
八、機器翻譯 / 問答
60. 面向全人工智慧問答： 一套必備的玩具任務
Towards ai-complete question answering: A set of prerequisite toy tasks (2015)
作者：J. Weston et al.
61. 透過共同學習對齊和翻譯實現神經機器翻譯
Neural machine translation by jointly learning to align and translate (2014)
作者：D. Bahdanau et al. (Bengio)
62. 利用神經網路進行序列到序列的學習
Sequence to sequence learning with neural networks (2014)
作者：I. Sutskever et al.
63. 用 RNN 編碼——解碼器學習短語表徵，實現統計機器翻譯
Learning phrase representations using RNN encoder-decoder for statistical machine translation (2014)
作者：K. Cho et al.(Bengio)
64. 一個為句子建模的卷積神經網路
A convolutional neural network for modelling sentences (2014)
作者：N. Kalchbrenner et al.
65. 用於句子分類的卷積神經網路
Convolutional neural networks for sentence classification (2014)
作者：Y. Kim
66. 史丹佛 coreNLP 自然語言處理工具
The stanford coreNLP natural language processing toolkit (2014)
作者：C. Manning et al.
67. 基於情感樹庫應用於情感組合研究的遞迴深度網路模型
Recursive deep models for semantic compositionality over a sentiment treebank (2013)
作者：R. Socher et al.
摘要：詞語義空間雖然非常有用但無法準確地表達一個短語的意思。類似於情感檢測的組合性任務需要更豐富的有監督訓練和評價資源和更有力的組合模型。為了解決這個問題，我麼提出了情感樹庫。庫中包括含了11855個句子解析樹中的215154個細粒度情感短語標籤，對於情感組合提出了新的挑戰。為此我們提出了遞迴神經張量網路模型。採用樹庫進行訓練，本文模型在很多指標上比所有前人的模型都出眾。將單句的正負情緒分類準確率從80%提升到了85.4%。對於預測細粒度的情感標籤準確率提升到了80.7%，相比於特徵袋模型提升了9.7個百分點。最後，本文模型是唯一一個可以準確地捕捉否定詞影響的模型，並且判斷範圍不管是正面短語還是負面短語都可以到多種樹級別。
68. 幾乎從頭開始的自然語言處理
Natural language processing (almost) from scratch (2011)
作者：R. Collobert et al.
69. 基於語言模型的迴圈神經網路
Recurrent neural network based language model (2010)
作者：T. Mikolov et al.
九、語音/及其他
70. 自動語音識別：一種深度學習的方法
Automatic Speech Recognition - A Deep Learning Approach (Book, 2015)
作者：D. Yu and L. Deng (Microsoft)
71. 使用深度迴圈網路進行語音識別
Speech recognition with deep recurrent neural networks (2013)
作者：A. Graves (Hinton)
72. 用於語音識別中聲學建模的深度神經網路：四個研究小組的觀點分享
Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups (2012)
作者：G. Hinton et al.
摘要：大多數當前的語音識別系統都使用隱馬爾科夫模型（HMMs）來解決語音中的時間變化問題，用混合高斯模型（GMMs）來評價每一個HMM擬合聲音輸入表示幀或者小視窗幀係數的效果。存在一種替代評價方法是使用前饋神經網路來將多個幀係數作為輸入，將HMM狀態的後驗機率作為輸出。深度神經網路有很多隱藏層，透過新的方法進行訓練，在很多語音識別任務上都比GMM模型更加出眾，有時甚至會好非常多。本文將會做一個綜述，分別對四家研究機構在最近語音識別的聲學建模領域取得的成功進行介紹。
73. 基於上下文預訓練的深度神經網路在大規模詞表語音識別中的應用
Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition (2012)
作者：G. Dahl et al.
74. 使用深度信念網路進行聲學建模
Acoustic modeling using deep belief networks (2012)
作者：A. Mohamed et al. (Hinton)
十、強化學習/機器人
75. 透過深度神經網路和樹搜尋來掌控圍棋遊戲
Mastering the game of Go with deep neural networks and tree search (2016)
作者：D. Silver et al. (DeepMind)
摘要：圍棋被視為人工智慧挑戰經典遊戲中最難的一個，因為其巨大的搜尋空間和對位置和移動的評價難度。本文提出了一種新方法使用“值網路”來評價位置，用“策略網路”來選擇移動。這些深度神經網路是從人類專家棋局中進行有監督學習，然後在從自對弈中進行強化學習。如果不考慮前向搜尋的話，當前最好的神經網路模型是蒙特卡洛樹搜尋，這種方法透過進行上千局的自對弈來進行模擬。我們也介紹了一種新點的搜尋演算法，將蒙特卡洛模擬與值網路和策略網路進行了綜合。使用這種搜尋演算法，我們的專案AlphaGo有99.8%的勝率，並且以5：0的比分打敗了來自歐洲的人類冠軍。這也是計算機第一次在真實圍棋比賽中幾百人類專業選手，將10年後的目標提前完成了。
76. 透過深度強化學習實現人類水平控制
Human-level control through deep reinforcement learning (2015)
作者：V. Mnih et al. (DeepMind)
77. 偵測機器人抓取的深度學習
Deep learning for detecting robotic grasps (2015)
作者：I. Lenz et al.
78. 用強化學習翫雅達利遊戲
Playing atari with deep reinforcement learning (2013)
作者：V. Mnih et al. (DeepMind)
十一、無監督
79. 生成對抗網路
Generative adversarial nets (2014)
作者：I. Goodfellow et al. (Bengio)
摘要：我們提出了一種透過對抗過程來評判生成模型的新框架，這裡包括兩個模型：一個是生成模型G，用來學習資料分佈，另一個是評判模型D，用來計算一個樣本來自於訓練資料而不是G的機率。訓練G模型的過程是最大化D模型犯錯的機率。這個框架相當於一個小型的兩人遊戲。在任意的G和D函式空間中，存在一個唯一的解，使得G恢復訓練資料的分佈並且D得出的機率是0.5。這裡，G和D均被定義為多層感知機，整個系統用向後傳播誤差的方法來進行訓練。在整個訓練過程和樣本生成過程中都沒有用到任何的馬爾科夫鏈或者是展開近似推理網路。透過定性分析和生成樣本評價的定量分析證明了本框架的潛力。
80. 自編碼變數貝葉斯
Auto-Encoding Variational Bayes (2013)
作者：D. Kingma and M. Welling
81. 用大規模無監督學習搭建高水平特徵
Building high-level features using large scale unsupervised learning (2013)
作者：Q. Le et al.
82. 無監督特徵學習中單層網路分析
An analysis of single-layer networks in unsupervised feature learning (2011)
作者：A. Coates et al.
83. 堆疊降噪解碼器：在本地降噪標準的深度網路中學習有用的表徵
Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion (2010)
作者：P. Vincent et al. (Bengio)
84. 訓練受限波茲曼機的實踐指南
A practical guide to training restricted boltzmann machines (2010)
作者：G. Hinton
十二、硬體/軟體
85. TensorFlow：異構分散式系統上的大規模機器學習
TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems (2016)
作者：M. Abadi et al. (Google)
摘要：TensorFlow是一個表達機器學習演算法的介面，也是執行這些演算法的實現。TensorFlow可以在多種作業系統上執行，從移動裝置（比如手機）到包含上百臺機器和上千臺計算硬體（比如GPU）的大規模分散式系統。軟體系統非常靈活，可以用於多種演算法，包括深度神經網路的訓練和推理演算法，並且被廣泛應用在電腦科學的多個領域和別的研究領域中，包括語音識別，計算機視覺，機器人，資訊檢索，自然語言處理，地理資訊提取和計算藥物發現等。有的是用來做研究，有的則是用來解決工程問題。本文介紹了由Google開發的TensorFlow介面和實現方法。TensorFlow的介面和實現已經在2015年11月以Apache 2.0的協議開源，可以在官網www.tensorflow.org上找到。
86. Theano：一個針對快速計算數學表達公式的Python框架
Theano: A Python framework for fast computation of mathematical expressions
作者：R. Al-Rfou et al. (Bengio)
87. MatConvNet: 針對matlab 的卷積神經網路
MatConvNet: Convolutional neural networks for matlab (2015)
作者：A. Vedaldi and K. Lenc
88. Caffe：快速特徵嵌入的卷積結構
Caffe: Convolutional architecture for fast feature embedding (2014)
作者： Y. Jia et al.
十三、推薦論文
89. 對立學習推論
Adversarially Learned Inference (2016)
作者：V. Dumoulin et al.
90. 理解卷積神經網路
Understanding Convolutional Neural Networks (2016)
作者：J. Koushik
91. SqueezeNet 模型：達到 AlexNet 水平的準確率，卻使用縮減 50 倍的引數以及< 1MB 的模型大小
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 1MB model size (2016)
作者：F. Iandola et al.
92. 學習搭建問答神經網路
Learning to Compose Neural Networks for Question Answering (2016)
作者：J. Andreas et al.
93. 用深度學習和大規模資料蒐集，學習眼手協調的機器人抓取
Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection (2016)(Google)
作者：S. Levine et al.
94. 將人隔離在外：貝葉斯最佳化演算法回顧
Taking the human out of the loop: A review of bayesian optimization (2016)
作者：B. Shahriari et al.
95. Eie：壓縮神經網路的高效推理引擎
Eie: Efficient inference engine on compressed deep neural network (2016)
作者：S. Han et al.
96. 迴圈神經網路的自適性計算時間
Adaptive Computation Time for Recurrent Neural Networks (2016)
作者：A. Graves
97. 畫素迴圈神經網路
Pixel Recurrent Neural Networks (2016)
作者：A. van den Oord et al. (DeepMind)
98. LSTM：一場搜尋空間的奧德賽之旅
LSTM: A search space odyssey (2015)
作者：K. Greff et al.
99. 訓練非常深度網路
Training very deep networks (2015)
作者：R. Srivastava et al.