作者：Zhen Fang、Yixuan Li、Jie Lu、 Jiahua Dong、Bo Han、Feng Liu
論文地址：https://openreview.net/forum?id=sde_7ZzGXOE
獲獎理由：這項工作提供了分佈外 (OOD) 檢測的理論研究，重點關注此類模型可學習的條件。該工作使用 PAC（probably approximately correct）學習理論表明 OOD 檢測模型僅在資料分佈空間和預測模型空間的某些條件下是 PAC 可學習的。該研究還提供了 3 個具體的不可能定理，可以用來確定 OOD 檢測在實際環境中的可行性，為現有的 OOD 檢測方法提供了理論基礎。這項工作還提出了新的理論問題，例如關於 near-OOD 檢測的可學習性。該研究將在 OOD 檢測這個重要的研究領域產生廣泛的理論和實踐影響。 論文 2：Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
機構：谷歌研究院
作者：Chitwan Saharia、William Chan、Saurabh Saxena等
論文地址：https://openreview.net/forum?id=08Yk-n5l2Al
獲獎理由：基於擴散過程的高質量影像生成模型已在機器學習領域產生巨大的影響。該研究代表了此類模型的 SOTA 水平之一，並創新性地展示了獨立訓練的大型語言模型與大規模影像解碼器的有效結合。這種實用的解耦很可能成為大規模文字到影像模型的主導範例。該研究的成果令人印象深刻。 論文 3：Elucidating the Design Space of Diffusion-Based Generative Models
機構：NVIDIA
作者：Tero Karras、Miika Aittala、Timo Aila、Samuli Laine
論文地址：https://openreview.net/forum?id=k7FuTOWMOc7
獲獎理由：這篇論文透過調查思考，將先前的研究組織成一個連貫的共同框架，以促成新的建模改進，這是該研究的研究方法。該研究的重點是包含某種形式擴散過程的影像生成模型，儘管訓練此類模型存在困難，但這種模型最近變得非常流行。這篇論文對基於擴散過程的模型的理解和實現做出了重要貢獻。 論文 4：ProcTHOR: Large-Scale Embodied AI Using Procedural Generation
機構：艾倫人工智慧研究院、華盛頓大學
作者：Matt Deitke、Eli VanderBilt、Alvaro Herrasti等
論文地址：https://openreview.net/forum?id=4-bV1bi74M
獲獎理由：這項工作提出了一種新框架，用於在大量資料上訓練具體的 AI 智慧體，為這些智慧體創造從擴充套件中受益的潛力，類似於語言和影像生成模型。該框架的核心是一個引擎，用於構建程式生成的、支援物理的環境，智慧體可以與環境互動。該引擎與大量資料和環境控制相結合，可以生成大量不同的環境組合。研究者證明該框架可用於為多個具體 AI 任務訓練 SOTA 模型。此外，該研究已將框架和程式碼開源。 論文 5：Using natural language and program abstractions to instill human inductive biases in machines
機構：普林斯頓大學神經科學研究所、DeepMind 等
作者：Sreejan Kumar、Carlos G. Correa、Ishita Dasgupta等
論文地址：https://openreview.net/forum?id=buXZ7nIqiwE
獲獎理由：該研究表明程式抽象（program abstraction）和自然語言的共同訓練可以將人類偏見納入機器的學習過程。研究者提出了一種結合人類偏見的 clean 方法，該方法對程式抽象也很穩健。 論文 6：A Neural Corpus Indexer for Document Retrieval
機構：微軟、清華大學等
作者：Yujing Wang、Yingyan Hou、Haonan Wang等
論文地址：https://openreview.net/forum?id=fSfcEYQP_qc
獲獎理由：這項工作提出了一種神經索引器，它將查詢作為輸入，並透過解碼器結合集束搜尋（beam search）輸出與索引中相關文件對應的 ID 列表。這種新方法加入了一個小型但不斷增長的研究系列，這種新範例允許使用標準深度學習演算法和框架對目標應用程式的索引器進行基於梯度的最佳化。該研究提出的方法引入了架構和訓練選擇，與之前的工作相比，這些選擇帶來了顯著改進。該研究闡明瞭神經索引器的廣泛應用前景。 論文 7：High-dimensional limit theorems for SGD: Effective dynamics and critical scaling
作者：Gerard Ben Arous、Reza Gheissari、Aukosh Jagannath
作者：Valentin De Bortoli、 Emile Mathieu、Michael John Hutchinson 等
論文地址：https://arxiv.org/pdf/2202.02763.pdf
獲獎理由：本文透過識別影響生成模型成功的主要因素，將基於分數的生成模型 (SGM) 從歐氏空間泛化到緊湊的黎曼流形。這種方法是一種新穎的、技術上有用的貢獻。 論文 10：Gradient Estimation with Discrete Stein Operators
機構：史丹佛大學、清華大學、 DeepMind 等
作者：Jiaxin Shi、Yuhao Zhou、Jessica Hwang 等
論文地址：https://openreview.net/pdf?id=I1mkUkaguP
獲獎理由：本文探討了分佈呈離散時的梯度估計問題。大多數常見梯度估計器都存在過度方差，因此為了提高梯度估計的質量，研究者引入了一種基於離散分佈 Stein 運算元的方差縮減技術。儘管 Stein 運算元很經典，但這項工作為梯度估計提供了一種很好的解釋，並在實驗中顯示了實際改進。 論文 11：An empirical analysis of compute-optimal large language model training
獲獎理由：該研究提出一個問題：給定固定的 FLOPs 預算，模型的大小和訓練 token 數應該如何權衡？該研究對這種權衡進行了建模，並基於該模型進行預測，同時訓練與該預測相對應的模型。由此產生的模型明顯更小，但包含了更多的 token，效能優於其對應模型，同時由於模型尺寸更小，在下游任務中也更實用。總而言之，這項工作為社群在語言模型背景下思考規模的方式提供了新的思路，這也可能對 AI 的其他領域有用。 論文 12：Beyond neural scaling laws: beating power law scaling via data pruning
獲獎理由：本文研究了使用隨機零和遊戲博弈的多重分散式學習。對於具有接近最優結果的一類問題，該技術得出了非常有趣的理論結果。 資料集和基準 Track 傑出論文 該獎項旨在表彰面向資料工作的研究，今年有兩篇論文獲得了該獎項，分別由 LAION、英偉達等機構研究者摘得。 論文 1：LAION-5B: An open large-scale dataset for training next generation image-text models
機構：LAION 、UC 伯克利等
作者：Christoph Schuhmann 、 Romain Beaumont 、 Richard Vencu 等