深度學習熱度下降，圖神經、BERT崛起，ICLR2020提交論文主題分析

機器之心報導

參與：張倩

去年 11 月，Yoshua Bengio 宣佈：ICLR 2020 將在衣索比亞首都亞的斯亞貝巴（Addis Abeba）舉行。目前，本次大會的論文投稿工作已經結束，進行到盲審階段。為了總結社群的最新研究動向，Element AI 的研究科學家 Pau Rodríguez López 對本次投稿論文的關鍵詞進行了統計分析，發現往年較熱的「深度學習」、「GAN」等關鍵詞熱度有所下降，而圖神經網路、BERT、Transformer 等成為新的熱點方向。

正在接受盲審的論文列表：

Pau Rodríguez López 首先列出了 ICLR 2020 提交論文的絕對高頻詞：

由上圖可知，與往年一樣，「深度學習」、強化學習、GAN、表徵學習等都是今年大會比較熱門的話題。

但更加值得注意的是，部分研究方向在今年大會的被提及頻率明顯上升，如：圖神經網路、BERT、Transformer、NLP、自監督學習、魯棒性、對抗魯棒性等，其中，圖神經網路已經躍升至關鍵詞第七位。相比之下，深度學習、GAN、最佳化、生成模型、無監督學習等關鍵詞的熱度則有所下降。

從其他來源的統計中，我們也可以發現類似趨勢：今年大熱的「圖神經網路」去年只能排到 20 名開外。

ICLR 2019 提交論文關鍵詞統計（圖源：）。

在今年 5 月 ICLR 2019 大會結束後，畢業於史丹佛大學、現就職於英偉達的電腦科學家 Chip Huyen 曾總結了8 點參會感受，包括 RNN 失寵、GAN 仍然勢頭強勁、強化學習仍然是提交論文中最熱門的話題等。至於今年的研究風向如何，還需要大會向我們揭開謎底。

參考連結：