會議組織者都是 NLP 頭部科學家，在語言建模方面有著相當的成果。
隨著 AI 領域的快速發展，大模型逐漸成為研究的核心，為了更好地探索這一領域，2023 年，一批知名的青年學者組織了一個名為 COLM（Conference on Language Modeling）的新會議。
該會議的組織者們都是 NLP 頭部科學家，在語言建模方面有著相當的成果。他們其中既有來自業界的研究人員，也有來自學術界的研究人員。
在今年的組織者中，有我們熟悉的陳丹琦、Angela Fan 等華人學者。
COLM 是一個專注於語言建模研究的學術場所，旨在建立一個具有不同科學專業知識的研究人員社群，專注於理解、改進和評論語言模型技術的發展。這不僅是學術界的一次創新嘗試，也是搭起了語言模型交流互鑑的新橋樑，進一步促進其探索和合作。
接收論文連結：https://colmweb.org/AcceptedPapers.html
剛剛，大會公佈了 2024 年傑出論文獎，共有 4 篇論文獲獎。
值得一提的是，號稱撼動 Transformer 統治地位的 Mamba 也在獲獎論文中。
此前，Mamba 這項研究慘遭 ICLR 拒稿，引來學術界軒然大波。
不過，之後 Mamba 原班人馬釋出的 Mamba-2 順利拿下了 ICML 2024。如今 Mamba 又獲得了 COLM 傑出論文獎，很多網友都送來祝賀。
Mamba 作者之一、卡內基梅隆大學機器學習系助理教授 Albert Gu 用一張表情很好的表達了自己的感受，看來「COLM 是真香」。
傑出論文獎
論文 1：Dated Data: Tracing Knowledge Cutoffs in Large Language Models
機構：霍普金斯大學
作者：Jeffrey Cheng、Marc Marone、Orion Weller、Dawn Lawrie等
論文地址：https://openreview.net/pdf?id=wS7PxDjy6m
大型語言模型 (LLM) 通常有「知識截止日期」，即收集訓練資料的時間。該資訊對於需要 LLM 提供最新資訊的應用場景至關重要。
然而，訓練資料中所有子資源是否共享相同的「知識截止日期」？模型響應展示出的知識是否與資料截止值一致？
該論文定義了「有效截止」的概念，它與 LLM 報告的「知識截止日期」不同，並且訓練資料子資源之間也有所不同。該研究提出了一種簡單的方法，透過跨版本的資料探測來估計 LLM 在資源級別的有效截止點。至關重要的是，該方法不需要訪問模型的預訓練資料。
透過分析，該研究發現有效的截止值通常與報告的截止值有很大不同。為了瞭解這一觀察結果的根本原因，該研究對開放的預訓練資料集進行了大規模分析。
分析揭示了造成這些不一致的兩個主要原因：
由於新 dump 中存在大量舊資料，導致 CommonCrawl 資料出現時間錯位；
LLM 重複資料刪除方案的複雜性涉及語義重複和詞彙近似重複。
論文 2：Mamba: Linear-Time Sequence Modeling with Selective State Spaces
機構：卡內基梅隆大學、普林斯頓大學
作者：Albert Gu、Tri Dao
論文地址：https://arxiv.org/pdf/2312.00752
自 2017 年被提出以來，Transformer 已經成為 AI 大模型的主流架構，但隨著模型規模擴大和處理序列變長，其計算效率問題凸顯，特別是在長上下文中，計算量將呈平方級增長。
為解決這一問題，研究者們圍繞注意力開發了多種變體，如線性注意力、門控摺積、迴圈模型、SSMs 等，但它們在語言等模態上的表現並不理想，無法進行基於內容的推理。
基於此，論文作者進行了幾項改進。首先，讓 SSM 引數成為輸入的函式，解決了離散模態的弱點，使模型能根據當前 token 有選擇地傳播或遺忘資訊。
這種改動導致卷積效率降低，對模型的計算帶來了挑戰。論文作者設計了一種硬體感知演算法，將先前的 SSM 架構設計與 Transformer 的 MLP 塊合併為一個塊，簡化了深度序列模型架構，形成了一種包含選擇性狀態空間的簡單、同質的架構設計（Mamba）。
Mamba 可以隨上下文長度的增加實現線性擴充套件，其效能在實際資料中可提高到百萬 token 長度序列，並實現 5 倍的推理吞吐量提升。
作為通用序列模型的骨幹，Mamba 在語言、音訊和基因組學等多種模態中都達到了 SOTA 效能。在語言建模方面，無論是預訓練還是下游評估，他們的 Mamba-3B 模型都優於同等規模的 Transformer 模型，並能與兩倍於其規模的 Transformer 模型相媲美。
更多詳情，可以參考機器之心之前的報導：五倍吞吐量，效能全面包圍 Transformer：新架構 Mamba 引爆 AI 圈。
論文 3：AI-generated text boundary detection with RoFT
機構：俄羅斯 AI 基金會與演算法實驗室、英國倫敦瑪麗女王大學、日本 Noeon 研究所、斯科爾科沃科學技術學院等
作者：Laida Kushnareva, Tatiana Gaintseva, Dmitry Abulkhanov等
論文地址：https://arxiv.org/pdf/2311.08349
隨著大語言模型的發展，我們越來越頻繁地遇到這樣的情況：一篇文章起初可能出自人類之手，但隨後可能被 AI 接手加以潤色。如何從這種文字中檢測出人類寫作與機器生成的界限？這是一個具有挑戰性的問題，但還尚未得到太多關注。
論文作者試圖填補這一空白。他們對最先進的檢測方法進行了測試。具體而言，他們採用「真假文字」測試集，測試了在極限情況下，這些方法的表現。「真假文字」測試集包含各種語言模型生成的多個主題的短文字。
他們發現，基於困惑度的邊界檢測方法，在處理特定領域的資料時，比對 RoBERTa 模型進行監督式的方法更加魯棒。他們還發現了一些特定的文字特徵。這些特徵可能會干擾邊界檢測演算法的判斷，導致演算法在處理跨領域的文字時，其效能會下降。
論文 4：Auxiliary task demands mask the capabilities of smaller language models
機構：哈佛大學、史丹佛大學
作者：Jennifer Hu、Michael Frank
論文地址：https://openreview.net/forum?id=U5BUzSn4tD#discussion
發展心理學家一直在爭論語言理解或心理理論等認知能力何時出現。這些爭論通常取決於「任務要求」的概念 —— 與執行特定評估相關的挑戰。在衡量語言模型 (LM) 的能力時，任務的效能是模型基礎知識的函式，再加上模型在給定可用資源的情況下解釋和執行任務的能力。
該研究表明，對於類比推理、反思推理、單詞預測和語法判斷，任務要求較高的評估方法比要求減少的評估方法產生的效能更低。對於引數較少和訓練資料較少的模型，這種「需求差距」最為明顯。實驗結果表明，LM 的效能不應被解釋為智慧（或缺乏智慧）的直接表現，而應被解釋為透過研究人員設計選擇的視角所看到的能力反映。