今年共評選出 5 篇傑出論文獎以及 11 篇榮譽提名。
ICLR 全稱為國際學習表徵會議（International Conference on Learning Representations），今年舉辦的是第十二屆，於 5 月 7 日至 11 日在奧地利維也納展覽會議中心舉辦。
在機器學習社群中，ICLR 是較為「年輕」的頂級學術會議，它由深度學習巨頭、圖靈獎獲得者 Yoshua Bengio 和 Yann LeCun 牽頭舉辦，2013 年才剛剛舉辦第一屆。不過 ICLR 很快就獲得了學術研究者們的廣泛認可，被認為是深度學習的頂級會議。
本屆會議共收到了 7262 篇提交論文，接收 2260 篇，整體接收率約為 31%，與去年持平（31.8%）。此外 Spotlights 論文比例為 5%，Oral 論文比例為 1.2%。
相比於往年，無論是參會人數還是論文提交量，ICLR 的熱度可以說是有極大的提升。
歷屆 ICLR 論文資料圖
在近日公佈的獲獎論文中，大會評選出了 5 篇傑出論文獎和 11 篇榮譽提名獎。
5 篇傑出論文獎
Outstanding Paper winners
論文：Generalization in diffusion models arises from geometry-adaptive harmonic representations
論文地址：https://openreview.net/pdf?id=ANvmVS2Yr0
機構：紐約大學、法蘭西公學院
作者：Zahra Kadkhodaie 、Florentin Guth 、Eero P. Simoncelli 、Stéphane Mallat
本文對影像擴散模型的泛化和記憶方面進行了重要的深入分析。作者透過實證研究了影像生成模型何時從記憶輸入切換到泛化模式，並透過幾何自適應諧波表示與諧波分析的思想建立聯絡，從架構歸納偏差的角度進一步解釋了這一現象。本文涵蓋了我們對視覺生成模型理解中缺失的關鍵部分，對未來研究啟發巨大。
論文：Learning Interactive Real-World Simulators
論文地址：https://openreview.net/forum?id=sFyTZEqmUY
機構：UC 伯克利、 Google DeepMind 、 MIT 、阿爾伯塔大學
作者：Sherry Yang、 Yilun Du 、 Kamyar Ghasemipour、Jonathan Tompson、Leslie Kaelbling、Dale Schuurmans、Pieter Abbeel
跨多個來源聚合資料以訓練機器人基礎模型是一個長期目標。由於不同的機器人具有不同的感知運動介面，這給跨大規模資料集的訓練帶來了重大挑戰。
UniSim，是朝著這個方向邁出的重要一步，也是一項工程壯舉，它利用了基於視覺感知和控制的文字描述的統一介面來聚合資料，並透過利用視覺和語言領域的最新發展來訓練機器人模擬器。
總結而言，本文探索了透過生成模型學習真實世界互動的通用模擬器 UniSim，邁出了構建通用模擬器的第一步。例如 UniSim 可以透過模擬「開啟抽屜」等高階指令和低階指令的視覺結果來模擬人類和智慧體如何與世界互動。
本文將大量資料（包括網際網路文字 - 影像對，來自導航、人類活動、機器人動作等的豐富資料，以及來自模擬和渲染的資料）結合到一個條件影片生成框架中。然後透過仔細編排沿不同軸的豐富資料，本文表明 UniSim 可以成功地合併不同軸資料的經驗並泛化到資料之外，透過對靜態場景和物件的細粒度運動控制來實現豐富的互動。
如下圖 3 所示，UniSim 能夠模擬一系列豐富動作，例如廚房場景中洗手、拿碗、切胡蘿蔔、擦乾手這一系列動作；圖 3 右上是按下不同的開關；圖 3 下是兩個導航場景。
對應上圖 3 右下的導航場景
上圖 3 右下的導航場景
論文：Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors
論文地址：https://openreview.net/forum?id=PdaPky8MUn
機構：特拉維夫大學、IBM
作者：Ido Amos、Jonathan Berant、Ankit Gupta
這篇論文深入探討了最近提出的狀態空間模型和 transformer 架構對建模長期序列依賴性的能力。
令人驚訝的是，作者發現從頭開始訓練 transformer 模型會導致其效能被低估，並且透過預訓練和微調設定可以實現顯著的效能提升。該論文在關注簡潔性和系統性見解方面表現極佳。
論文：Protein Discovery with Discrete Walk-Jump Sampling
論文地址：https://openreview.net/forum?id=zMPHKOmQNb
機構：基因泰克、紐約大學
作者：Nathan C. Frey、Dan Berenberg、Karina Zadorozhny、Joseph Kleinhenz、Julien Lafrance-Vanasse、Isidro Hotzel、Yan Wu、Stephen Ra、Richard Bonneau、Kyunghyun Cho、Andreas Loukas、Vladimir Gligorijevic、Saeed Saremi
這篇論文解決了基於序列的抗體設計問題，這是蛋白質序列生成模型的一個及時而重要的應用。
為此，作者引入了一種創新而有效的新建模方法，用來專門針對處理離散蛋白質序列資料的問題。除了在矽中驗證該方法外，作者還進行了大量的溼法實驗室實驗，以測量體外抗體結合親和力，展示了他們生成方法的有效性。
論文：Vision Transformers Need Registers
論文地址：https://openreview.net/forum?id=2dnO3LLiJ1
機構：Meta 等
作者：Timothée Darcet、Maxime Oquab、Julien Mairal、Piotr Bojanowski
該篇論文識別了 vision transformer 網路的特徵圖中的人工痕跡，這些痕跡以低資訊背景區域中的高範數 tokens 為特徵。
作者提出了這種現象發生的關鍵假設，並提供了一個簡單而優雅的解決方案，使用額外的 register tokens 來解決這些痕跡，從而增強了模型在各種任務上的效能。從這項工作中獲得的見解還可以影響其他應用領域。
這篇論文行文極佳，為進行研究提供了一個很好的示範：「識別問題，理解其發生的原因，然後提出解決方案。」
11 篇榮譽提名
除了 5 篇傑出論文，ICLR 2024 還評選出了 11 篇榮譽提名獎。
論文：Amortizing intractable inference in large language models
機構：蒙特利爾大學、牛津大學
作者：Edward J Hu、Moksh Jain、Eric Elmoznino、Younesse Kaddar、Guillaume Lajoie、Yoshua Bengio、Nikolay Malkin
論文地址：https://openreview.net/forum?id=Ouj6p4ca60
這篇論文從貝葉斯推理的角度提出了一種在大型語言模型中替代自迴歸解碼的有前景的方法，這可能會激發後續研究。
論文：Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization
機構：DeepMind
作者：Ian Gemp、Luke Marris、Georgios Piliouras
論文地址：https://openreview.net/forum?id=cc8h3I3V4E
這是一篇寫得非常清晰的論文，對解決開發高效且可擴充套件的納什求解器這一重要問題意義重大。
論文：Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness
機構：北京大學、北京智源人工智慧研究院
作者：張博航 蓋景初 杜逸恆 葉啟威 賀笛 王立威
論文地址：https://openreview.net/forum?id=HSKaGOi7Ar
GNN 的表達能力是一個重要課題，而當前的解決方案仍然存在很大的侷限性。作者提出了一種基於同態計數的新表達理論（expressivity theory）。
論文：Flow Matching on General Geometries
機構：Meta
作者：Ricky T. Q. Chen、Yaron Lipman
論文地址：https://openreview.net/forum?id=g7ohDlTITL
本文探討了在一般幾何流形上進行生成建模這一具有挑戰性但又十分重要的問題，並提出了一種實用且高效的演算法。本文的呈現非常出色，並在廣泛的任務上進行了全面的實驗驗證。
論文：Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video
機構：中佛羅里達大學、 Google DeepMind、阿姆斯特丹大學等
作者：Shashanka Venkataramanan、Mamshad Nayeem Rizve、Joao Carreira、Yuki M Asano、Yannis Avrithis
論文地址：https://openreview.net/forum?id=Yen1lGns2o
本文提出了一種新穎的自監督影像預訓練方法，即透過從連續影片中學習。本文既貢獻了新型別的資料，也貢獻了一種從新資料中學習的方法。
論文：Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction
機構：香港城市大學、騰訊 AI 實驗室、西安交通大學等
作者：Yichen Wu、Long-Kai Huang、Renzhen Wang、Deyu Meng、魏穎（Ying Wei）
論文地址：https://openreview.net/forum?id=TpD2aG1h0D
作者提出了一種新的元連續學習方差減少方法。該方法表現良好，不僅具有實際影響，而且還得到了 regret 分析的支援。
論文：Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs
機構：伊利諾伊大學厄巴納 - 香檳分校、微軟
作者：Suyu Ge、Yunan Zhang、Liyuan Liu、Minjia Zhang、Jiawei Han、Jianfeng Gao
論文地址：https://openreview.net/forum?id=uNrFpDPMyo
本文針對 KV 快取壓縮問題（該問題對基於 Transformer 的 LLM 影響很大），透過一個簡單的想法來減少記憶體，並且無需耗費大量資源進行微調或重新訓練即可部署。這種方法非常簡單，事實證明它非常有效。
論文：Proving Test Set Contamination in Black-Box Language Models
機構：史丹佛大學、哥倫比亞大學
作者：Yonatan Oren、Nicole Meister、Niladri S. Chatterji、Faisal Ladhak、Tatsunori Hashimoto
論文地址：https://openreview.net/forum?id=KS8mIvetg2
本文使用了一個簡單而優雅的方法，用於測試受監督的學習資料集是否已被包含在大型語言模型的訓練中。
論文：Robust agents learn causal world models
機構：Google DeepMind
作者：Jonathan Richens、Tom Everitt
論文地址：https://openreview.net/forum?id=pOoKI3ouv1
這篇論文在奠定理論基礎方面取得了長足進展，以便理解因果推理在智慧體推廣到新領域的能力中所起到的作用，對一系列相關領域也產生了影響。
論文：The mechanistic basis of data dependence and abrupt learning in an in-context classification task
機構：普林斯頓大學、哈佛大學等
作者：Gautam Reddy
論文地址：https://openreview.net/forum?id=aN4Jf6Cx69
這是一項及時而極其系統性的研究，探討了我們在開始理解這些現象的時候，in-context 學習與 in-weight 學習之間的機制。
論文：Towards a statistical theory of data selection under weak supervision
機構：Granica Computing
作者：Germain Kolossov、Andrea Montanari、Pulkit Tandon
論文地址：https://openreview.net/forum?id=HhfcNgQn6p
這篇論文為資料子集選擇建立了統計基礎，並確定了流行的資料選擇方法的缺點。
參考連結：https://blog.iclr.cc/2024/05/06/iclr-2024-outstanding-paper-awards/