AI領域最具影響力的論文？打破了Bengio和LeCun的年度被引記錄

轉載自：機器之心（ID：almosthuman2014）

本文 2348字，建議閱讀 8分鐘。

本文介紹20世紀深度學習領域被引最高的論文。

隨著時間的推移，深度學習領域被引最高的論文發生了變化，這是圖靈獎之外的另一種認可？

作為「LSTM 之父」的 Jürgen Schmidhuber 雖然沒有獲得圖靈獎（也因乖張的行為不受待見），但他在深度學習領域的貢獻仍然獲得了整個社群的「被動認可」。

最近幾天，有人通過 Google Scholar 的統計發現：Hochreiter 和 Schmidhuber 1997 年發表的 LSTM 論文成為了 20 世紀被引最高的深度學習研究論文。

截至今日，這篇論文的被引用量已經達到 26166，超過了 Hinton 1985 年發表的反向傳播相關論文（《Learning internal representations by error propagation》）。

出人預料的排名變化是在最近發生的，LSTM 論文在 2019 年的年度引用量高達 9752 次，高於此前 Bengio、LeCun 等人年度被引最高的 CNN 相關論文（《Gradient-based learning applied to document recognition》）。

▌20 世紀 DL 最高被引論文易主 ▌

其實在此之前，20世紀深度學習領域被引量最高的論文一直是圖靈獎得主 Geoffrey Hinton 的「反向傳播」相關論文，其累計引用量達到了 64757。但值得注意的是，該引用量是標了星號的（如下圖所示）。

該星號表示，這個數字代表的不是單篇論文引用量，而是幾篇論文的綜合引用量。包括：

（1）Learning internal representations by error propagation. DE Rumelhart, GE Hinton, RJ Williams, California Univ San Diego La Jolla, Inst for Cognitive Science, 1985 (被引 25k)

（2）Parallel distributed processing. JL McClelland, DE Rumelhart, PDP Research Group, MIT press, 1987 (被引 24k)

（3）Learning representations by back-propagating errors. DE Rumelhart, GE Hinton, RJ Williams, Nature 323 (6088), 533-536, 1986 被引 (20k)

（4）……

因此，上圖中 Hinton 被引最高的深度學習論文《Learning internal representations by error propagation》的單篇引用量應該為 25398，略低於 Schmidhuber 的上述論文。

除此之前，Schmidhuber 的上述論文在年度引用量上也拔得頭籌（9752），超過了上述「反向傳播」三篇論文的總和（3574+461+3181），也高於之前年度被引最高的 CNN 相關論文（6301）。

Schmiduber LSTM 論文年度被引用量

Bengio、Lecun 等人 CNN 相關論文年度被引用量

▌深度學習經典論文——LSTM ▌

LSTM 的全稱是長短期記憶網路（Long-Short Term Memory），是具有長期記憶能力的一種時間遞迴神經網路 (Recurrent Neural Network)，其網路結構含有一個或多個具有遺忘和記憶功能的單元。由於獨特的設計結構，LSTM 適合於處理和預測時間序列中間隔和延遲非常長的重要事件

該論文首次發表於 1997 年。由德國慕尼黑工業大學的電腦科學家 Sepp Hochreiter 與 Jürgen Schmidhuber（現任瑞士 Dalle Molle 人工智慧研究所的聯合主任）共同完成。

論文連結：

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.676.4320&rep=rep1&type=pdf

在提出時，LSTM 被用於解決傳統 RNN 在隨時間反向傳播中權重消失的問題（vanishing gradient problem over backpropagation-through-time)，重要組成部分包括 Forget Gate、Input Gate 和 Output Gate, 分別負責決定當前輸入是否被採納，是否被長期記憶以及決定在記憶中的輸入是否在當前被輸出。

LSTM 網路由重複結構的 LSTM 單元組成，與 RNN 不同之處在於，重複的單元有四層特殊的結構（RNN 只有一層）。

LSTM 論文中的簡單模型示意圖（8 個輸入單元、4 個輸出單元和兩個儲存單元），被視為深度學習領域的經典

LSTM 的表現通常比時間遞迴神經網路及隱馬爾科夫模型（HMM）更好，比如用在不分段連續手寫識別上。2009 年，用 LSTM 構建的人工神經網路模型贏得過 ICDAR 手寫識別比賽冠軍。LSTM 還普遍用於自主語音識別，2013 年運用 TIMIT 自然演講資料庫達成 17.7% 錯誤率的紀錄。作為非線性模型，LSTM 可作為複雜的非線性單元用於構造更大型深度神經網路。

▌21 世紀 DL 最高被引論文 ▌

時間進入 21 世紀，人工智慧/深度學習領域再次興起。在新的階段，有三篇經典論文被人們引用的數量遠超其他。

有趣的是，它們都是有關神經網路在大規模影像資料集 ImageNet 之中的應用，這在一個側面說明了計算機視覺方向的火熱程度。其中一篇論文介紹了一種快速的、基於 CUDA 的深度卷積神經網路——它就是 AlexNet，這一方法贏得了 2012 年的 ImageNet 競賽。另一篇論文則是 ImageNet 2014 年冠軍的獲得者：

A Krizhevsky、I Sutskever, GE Hinton《Imagenet classification with deep convolutional neural networks》NeuerIPS 2012 (被引次數 53,000)

B. K Simonyan、A Zisserman《Very deep convolutional networks for large-scale image recognition》arXiv:1409.1556, 2014 (被引次數 32,000)

年度被引次數最多的論文，當然是網路更深、效能更強大的 ResNet——《Deep Residual Learning for Image Recognition》，這一方法贏得了 ImageNet 2015、以及 COCO 競賽的冠軍，也獲得了 CVPR2016 的最佳論文獎：該研究的作者是何愷明、張祥雨、任少卿和孫劍（被引次數 36,000；其中僅在 2019 年就增長了 18,000 餘次）。

孫劍等人提出的「深度殘差網路 ResNet」和「基於區域卷積神經網路的快速物體檢測 FasterRCNN」等技術目前被學術和工業界廣泛採用，對深度學習的基礎研究具有里程碑式的意義。這些研究的思路也被應用在了計算機視覺之外：ResNet 的思想也啟發了 DeepMind 的 AI 圍棋程式 AlphaGo Zero，並已被應用到了機器翻譯、語音合成語音識別等不同領域。

ResNet 現在甚至也成為了深度學習硬體衡量算力的 Benchmark 標準。參與這一研究的四名中國學者如今也都廣為被人們所知，當時他們均任職於微軟亞洲研究院視覺計算組。

值得注意的是，這些「屢次打破記錄的 GPU 加速卷積神經網路」也可以追溯到 Schmidhuber 及其弟子們的研究。AlexNet 的作者 Krizhevsky 在其論文裡引用了 DanNet，後者是第一個充分利用 CUDA，並在影像識別挑戰上超越人類水平（2011 年）的卷積神經網路。DanNet 在 2011 年的 ICDAR 中文手寫內容識別競賽、IJCNN 2011 交通訊號識別競賽、ISBI 2012 影像分割競賽以及 ICPR 2012 醫療影像識別競賽中獲得了冠軍。

作為目前卷積神經網路中最著名的一種，ResNet 比 DanNet 和 AlexNet 更深入，前者引用了 Srivastava 等人在 2015 提出的 Highway Net（也是 Schmidhuber 等人的研究），這是個特例。從某種意義上講，這形成了 LSTM 的閉環，因為「Highway Net 在本質上是 LSTM 網路的前饋版本」。

大多數 LSTM 的引用都是參考的 1997 年的這篇 LSTM 論文，但 Schmidhuber 在 Annus Mirabilis 發表的一篇文章指出，LSTM 的基本觀點可以追溯到 Seep Hochreiter 在 1991 年的畢業論文，他認為那篇論文是「機器學習研究史上最重要的文獻之一」。而且他還向其他學生表示感謝：「LSTM 及其訓練程式的改進，都需歸功於 Felix Gers、Alex Graves 以及其他我的學生們的貢獻。」

LSTM 的原理對於迴圈網路和前饋網路都是必不可少的，如今它存在於每一部智慧手機上，還存在於 DeepMind 在星際爭霸以及 OpenAI 在 Dota 這些遊戲中取得的冠軍中，以及大量 AI 相關應用中。

不過，LSTM 被人們「再次重視」或許也只是一時的現象。在 Reddit 上有網友指出，最近基於 Transformer 的方法正在逐漸升溫。

參考連結：

https://www.reddit.com/r/MachineLearning/comments/eg8mmn/d_the_1997_lstm_paper_by_hochreiter_schmidhuber/

— 完 —

https://www.toutiao.com/i6775692352066421262/

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69946223/viewspace-2671385/，如需轉載，請註明出處，否則將追究法律責任。