10年前VAE經典論文獲獎，ICLR 2024首個時間檢驗獎公佈

ICLR 2024 評選出的時間檢驗獎，在各自領域可謂是開山之作。

由深度學習巨頭、圖靈獎獲得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牽頭舉辦的 ICLR 會議，在走過第一個十年後，終於迎來了首屆時間檢驗獎。

為了評選出獲獎論文，專案主席審查了 2013 年和 2014 年 ICLR 論文，並尋找具有長期影響力的論文。

今年，由 Diederik P. Kingma、Max Welling 合作撰寫的論文獲得了該獎項，獲獎論文為《 Auto-Encoding Variational Bayes 》；論文《 Intriguing properties of neural networks 》獲得了亞軍。

ICLR 2024 時間檢驗獎

論文《 Auto-Encoding Variational Bayes 》作者共有兩位，他們當時均來自於阿姆斯特丹大學。

論文地址：https://arxiv.org/pdf/1312.6114
論文標題：Auto-Encoding Variational Bayes
作者：Diederik P. Kingma 、 Max Welling

獲獎理由：機率建模是對世界進行推理的最基本方式之一。這篇論文率先將深度學習與可擴充套件機率推理（透過所謂的重新引數化技巧攤銷均值場變分推理）相結合，從而催生了變分自動編碼器 (VAE)。這項工作的持久價值源於其優雅性。用於開發 VAE 的原理加深了我們對深度學習和機率建模之間相互作用的理解，並引發了許多後續有趣的機率模型和編碼方法的開發。這篇論文對於深度學習和生成模型領域產生了重大影響。

作者介紹

Diederik P. Kingma 現在是谷歌的一名研究科學家。根據領英介紹，Kingma 曾經是 OpenAI 初創團隊的一員，在 OpenAI 工作期間領導了一個演算法團隊，專注於基礎研究。2018 年，Kingma 跳槽到谷歌，加入 Google Brain（現在合併為 Google DeepMind），專注於生成式模型研究，包括擴散模型和大型語言模型。

Kingma 主要研究方向是可擴充套件的機器學習方法，重點是生成模型。他是變分自編碼器 (VAE，即本次獲獎研究)、Adam 最佳化器、Glow 和變分擴散模型等研究的主要作者。根據 Google Scholar 顯示，Kingma 的論文引用量達到 24 萬多次。

論文另一位作者 Max Welling 現在為阿姆斯特丹大學機器學習教授。和一般機器學習研究者不同，Max Welling 並不是計算機專業科班出身，而是在世界頂尖公立研究型大學 —— 荷蘭烏得勒支大學學了 11 年的物理，而且導師是荷蘭理論物理學家、1999 年諾貝爾物理學獎得主 Gerard 't Hooft。在 Hooft 的指導下，Max Welling 於 1998 年拿到了量子物理學博士學位。

之後，Max Welling 曾先後在加州理工學院（1998-2000）、倫敦大學學院（2000-2001）和多倫多大學（2001-2003）擔任博士後研究員。2003-2013 年，他歷任加州大學歐文分校的助理教授、副教授和教授。2012 年，他開始擔任阿姆斯特丹大學的教授和機器學習研究主席。

Max Welling 在 2011 年參與的一篇論文《 Bayesian Learning via Stochastic Gradient Langevin Dynamics 》還獲得了 ICML 2021 時間檢驗獎，主題是「基於隨機梯度 Langevin 動力學的貝葉斯學習」。在學術成就方面，Max Welling 的論文被引量達到了 13 萬多次。

在得知獲獎的訊息後，Kingma、Max Welling 師徒倆人還進行了互動：

時間檢驗獎亞軍論文

ICLR 2024 亞軍論文頒給了《 Intriguing properties of neural networks 》。論文作者共有七位，他們當時分別來自谷歌、紐約大學、蒙特利爾大學。

在過去的十年中，他們中的大多數已經離開了原來的公司和機構。

Christian Szegedy 現在為 xAI 聯合創始人；Wojciech Zaremba 為 OpenAI 聯合創始人；Ilya Sutskever 是 OpenAI 聯合創始人（不過自從 OpenAI 發生宮鬥後，暫無訊息）；Joan Bruna 現在為紐約大學副教授（Associate Professor）；Dumitru Erhan 為谷歌 DeepMind 研究總監；Ian Goodfellow 加入谷歌DeepMind；Rob Fergus 現在為谷歌 DeepMind 的研究科學家。

論文地址：https://arxiv.org/pdf/1312.6199
論文標題：Intriguing properties of neural networks
作者：Christian Szegedy、Wojciech Zaremba、Ilya Sutskever、Joan Bruna、Dumitru Erhan、Ian Goodfellow 、 Rob Fergus

獲獎理由：隨著深度神經網路在實際應用中越來越受歡迎，瞭解神經網路何時以及如何出現不良行為非常重要。本文強調了神經網路可能容易受到輸入中幾乎察覺不到的微小變化的影響。這一想法催生了對抗性攻擊（試圖欺騙神經網路）以及對抗性防禦（訓練神經網路不被欺騙）的研究。

這篇論文發表於 2014 年，可以說是對抗樣本（Adversarial Examples）的開山之作。論文發現神經網路對資料的理解跟人類的理解方式並不相同，在此基礎上，研究者又發現給輸入資料新增擾動（也就是噪聲），神經網路的輸出會產生變化，他們將這種擾動後的影像稱為對抗樣本。

^{參考連結：https://blog.iclr.cc/2024/05/07/iclr-2024-test-of-time-award/}

相關文章