那些沒出現在近幾年頂會上重要論文

雷鋒網 AI 科技評論按：最近一陣子，NeurIPS 2019 放榜了、ICLR 2020 截稿了，為論文沒中而悶悶不樂、為投稿（或者改稿重投）而鬱悶頭大的同學肯定不少。不過，在乎真正的學術貢獻的同學也不用著急，論文中了頂會最主要還是說明符合流行風向+運氣好，就像每年頂會的最佳論文過十年再來看往往並不是真正推動領域進步的論文一樣。

其實，豈止「頂會最佳論文往往不是真正推動領域進步的論文」，有很多重要的、推動進步的論文都沒投頂會，甚至是投了然後被拒稿。谷歌大腦研究員 Colin Raffel 在推特上發帖討論了這事，和其它幾位學者共同列舉了一批重要的、推動了領域進步的、但並不屬於任何頂會的論文。

Generating Sequences With Recurrent Neural Networks

• 用 RNN 生成序列

• https://arxiv.org/abs/1308.0850

• 這篇論文釋出時是相當驚人的，首次表明了可以直接用 RNN 生成令人滿意的文字段落或者手寫文字（具體來說是用 LSTM 捕捉離散長序列的結構，每次預測下一個緊接著的元素）。而且這篇論文裡還出現了注意力機制、Adam 等等後來廣為使用的技巧的雛形。

WaveNet: A Generative Model for Raw Audio

• WaveNet：一個原始音訊訊號的生成模型

• https://arxiv.org/abs/1609.03499 

• 來自 DeepMind 的大名鼎鼎的 WaveNet 論文可以說開創了一個新的時代。在此之前的語音生成模型都是先生成“聲碼”，然後用單獨的發聲模型把聲碼變成音訊波形訊號。WaveNet 直接表明了我們現在（2016 年）就可以直接用深度神經網路生成音訊波形訊號，跳過聲碼這一環，生成效果也有極大的提升。沿著這個方向，後來的研究人員們還做了很多改進和新的探索，大幅提高語音生成速度的並行 WaveNet （Parallel WaveNet， arxiv.org/abs/1711.10433 ）也很快就進入了谷歌的商用系統。

Learning to Generate Reviews and Discovering Sentiment

• 學習生成評論併發掘情感

• https://arxiv.org/abs/1704.01444 

• A simple and surprising result (thresholding a neuron in an unsupervised LM could classify sentiment accurately) that helped kicked off the transfer learning craze in NLP.

• 這篇論文用了簡單的無監督預訓練方法學習文字表徵，然後得到了驚喜的結果：根據學習到的無監督語言模型中的單個神經元的閾值就可以準確地判斷文字的情感。這項研究也助推了遷移學習的方法在 NLP 領域的流行。
  

Implicit Autoencoders

• 隱式自動編碼器

• https://arxiv.org/abs/1805.09804 

• 可變自動編碼器（VAE）的概念提出了挺久了，而這篇論文討論了一種新的自動編碼器形式：編碼器中的重建項和正則化項都是用對抗損失表示的，也就是隱式地引數化。相比於之前的顯式的做法，隱式引數化、隱式的資料分佈可以讓自動編碼器學習到更強有表現力的先驗知識和條件似然分佈，從而，自動編碼器中的隱含空間可以更專注捕捉資料中的抽象、高維資訊，同時其餘的低維資訊都已經被隱含的條件似然分佈包括了。作者們的風格、內容解耦等實驗中模型都發揮了優秀的表現。

Learning Dexterous In-Hand Manipulation

• 學習靈活的機械手控制

• https://arxiv.org/abs/1808.00177  

• 這篇出自 OpenAI 的論文從釋出以後就是機器人控制領域的熱門論文，實際上雷鋒網 AI 科技評論也做過 詳細的解讀 。OpenAI 不僅提出了兩組、八個高難度問題（機械臂末端控制、機械手拿取以及玩弄物體，都難以用早期強化學習演算法直接解決），也用新的強化學習在模擬環境中訓練了能完成這些任務的智慧體；最驚人的是，即便是完全在模擬器中訓練的，這個模型也可以不需任何微調就直接遷移到真實的機械手上，同樣優美地完成了任務。這不僅是強化學習機器人控制的一個突破，在別的任務中使用強化學習的時候也可以參考他們的技巧。

Evolution Strategies as a Scalable Alternative to Reinforcement Learning

• 演化策略是一個強化學習的可擴充的的備選方案

• https://arxiv.org/abs/1703.03864  

• 這篇論文是演化策略 Evolution Strategies 這個研究方向的開創性論文。演化策略提出時是作為當時熱門的基於馬爾科夫決策過程的 Q-learning、策略梯度之類的強化學習方法的補充，但是實際上即便演化策略是個黑盒優化模型，它仍然有許多優點：它在多 CPU 叢集上的擴充性很好、對動作頻率和延遲反饋不敏感、可以執行非常長期的任務、而且不需要時間折扣或者值函式逼近。

Distilling the Knowledge in a Neural Network

• 蒸餾神經網路中的知識

• https://arxiv.org/abs/1503.02531

• 首先，這篇論文的作者中有 Jeff Dean 和 Geoffrey Hinton，可以說看到這兩個名字就知道這篇論文肯定有一些有價值的洞見。然而 Jeff Dean 在推特討論中自曝這篇論文投稿到了 NIPS 2014 然後被拒了，三位審稿人中有兩位的意見是「這項工作改進很小，很可能不會有什麼影響」…… 挺讓人鬱悶的是不是，2019 年的我們都知道，隨著百萬級引數數量的模型層出不窮，知識蒸餾、模型壓縮的方法不僅有用，很多時候甚至是實際應用中必不可少的一個環節（為了達到可以接受的延遲和功耗）；知識蒸餾也成了近兩年的熱門研究課題。引用資料不會說謊，這篇論文如今已經有了大約 2000 的引用，比大多數頂會論文都要高。

在討論中也有人說道，現在我們在這裡列舉出的論文被時間證明確實是有持續的影響力的，它們的引用數也都不低，但如果當年投了頂會而且被接收了，可能還要高出很多。

（對於是不是一定要把論文投頂會，有人說這其實要看作者是否已經有了較高的教職、是否已經有了類似「fuck you money」這樣的底氣。如果一個人已經有終生教職了、或者已經達到了博士畢業的論文數量要求了，他就完全可以只把論文傳 arXiv，有價值的論文自然不會被忘記。相比之下，投頂會的論文相當一部分是來自還沒達到目標的在讀博士生的，出現學術價值不如沒投的論文的情況也不奇怪了）

幾篇論文打包下載見  https://www.yanxishe.com/resourceDetail/1030

原帖  https://twitter.com/colinraffel/status/1174691881114058752