深度學習領域知名研究者、Lightning AI 的首席人工智慧教育者 Sebastian Raschka 對 AI 大模型有著深刻的洞察，也會經常把一些觀察的結果寫成部落格。在一篇 5 月中釋出的部落格中，他盤點分析了 4 月份釋出的四個主要新模型：Mixtral、Meta AI 的 Llama 3、微軟的 Phi-3 和蘋果的 OpenELM。他還透過一篇論文探討了 DPO 和 PPO 的優劣之處。之後，他分享了 4 月份值得關注的一些研究成果。
Mixtral、Llama 3 和 Phi-3：有什麼新東西？
首先，從最重要的話題開始：4 月釋出的主要新模型。這一節將簡要介紹 Mixtral、Llama 3 和 Phi-3。下一節將會更詳細地介紹蘋果的 OpenELM。
Mixtral 8x22B：模型越大越好！
Mixtral 8x22B 是 Mistral AI 推出的最新款混合專家（MoE）模型，其釋出時採用了寬鬆的 Apache 2.0 開源許可證。
這個模型類似於 2024 年釋出的 Mixtral 8x7B，其背後的關鍵思路是將 Transformer 架構中的每個前饋模組替換成 8 個專家層。對於 MoE，這裡就不多用篇幅解釋了，不過作者在今年的一月研究盤點中介紹 Mixtral 8x7B 時詳細介紹過 MoE，感興趣的讀者可訪問《模型融合、混合專家、更小的 LLM，幾篇論文看懂 2024 年 LLM 發展方向》。
Mixtral 一篇部落格文章給出了一張很有趣的圖，其中在兩個軸上比較了 Mixtral 8x22B 與其它幾個 LLM：在常用的 MMLU 基準上的建模效能以及活躍引數量（與計算資源需求有關）。
Mixtral 8x22B 與其它一些 LLM 的對比（基於部落格 https://mistral.ai/news/mixtral-8x22b ）
Llama 3：資料越多越好！
Meta AI 在 2023 年 2 月釋出的首個 Llama 模型是開放式 LLM 的一步重大突破，也是開源 LLM 發展歷程的重要節點。因此很自然地，去年釋出的 Llama 2 也振奮了每個人的心。現在 Meta AI 已經開始釋出的 Llama 3 模型也同樣振奮人心。
雖然最大的模型（400B 版本）依然還在訓練之中，但他們已經發布了大家熟悉的 8B 和 70B 版本。而且他們的表現很好！下面我們把 Llama 3 加入到上圖中。
Llama 3、Mixtral 和其它 LLM 的對比
整體上看，Llama 3 架構幾乎與 Llama 2 完全一樣。它們之間的主要區別是 Llama 3 的詞彙庫更大以及 Llama 3 的更小型模型使用了分組查詢注意力（grouped-query attention）。至於什麼是分組查詢注意力，可參閱本文作者寫的另一篇文章：https://magazine.sebastianraschka.com/p/ahead-of-ai-11-new-foundation-models
下面是用 LitGPT 實現 Llama 2 和 Llama 3 的配置檔案，這能清楚方便地展示它們的主要差異。
透過 LitGPT 比較 Llama 2 和 Llama 3 的配置，https://github.com/Lightning-AI/litgpt
訓練資料的規模
Llama 3 的效能之所以比 Llama 2 好很多，一大主要因素是其資料集大得多。Llama 3 的訓練使用了 15 萬億 token，而 Llama 2 只有 2 萬億。
這個發現很有趣，因為根據 Llama 3 部落格所言：依照 Chinchilla 擴充套件律，對於 8B 引數的模型，訓練資料的最優數量要少得多，大約為 2000 億 token。此外，Llama 3 的作者觀察到，8B 和 70B 引數的模型在 15 萬億 token 規模上也展現出了對數線性級的提升。這說明，即使訓練 token 數量超過 15 萬億，模型也能獲得進一步提升。
指令微調和對齊
對於指令微調和對齊，研究者的選擇通常有兩個：透過近端策略最佳化（PPO）或無獎勵模型的直接偏好最佳化（DPO）實現使用人類反饋的強化學習（RLHF）。有趣的是，Llama 3 的開發者對這兩者並無偏好，他們兩個一起用了！（後面一節會更詳細地介紹 PPO 和 DPO）。
Llama 3 部落格表示 Llama 3 的研究論文會在下一個月釋出，到時我們還能看到更多細節。
Phi-3：資料質量越高越好！
就在 Llama 3 盛大發布一週之後，微軟釋出了其新的 Phi-3 LLM。根據其技術報告中的基準測試結果，最小的 Phi-3 模型也比 Llama 3 8B 模型更強，即便其大小要小一半。
Phi-3、Llama 3、Mixtral 與其它 LLM 的比較
值得注意的是，Phi-3（基於 Llama 架構）訓練使用的 token 數量比 Llama 3 少 5 倍，僅有 3.3 萬億，而 Llama 3 則是 15 萬億。Phi-3 甚至使用了和 Llama 2 一樣的 token 化器，詞彙庫大小為 32,064，這比 Llama 3 的詞彙庫小得多。
另外，Phi-3-mini 的引數量僅有 3.8B，不到 Llama 3 8B 引數量的一半。
那麼，Phi-3 有何秘訣？根據其技術報告，其更重視資料質量，而不是數量：「經過嚴格過濾的網路資料和合成資料」。
其論文並未給出太多資料整編方面的細節，但其很大程度上承襲了之前的 Phi 模型的做法。本文作者之前寫過一篇介紹 Phi 模型的文章，參閱：https://magazine.sebastianraschka.com/p/ahead-of-ai-12-llm-businesses
在本文寫作時，人們依然不能肯定 Phi-3 是否正如其開發者許諾的那樣好。舉個例子，很多人都表示，在非基準測試的任務上，Phi-3 的表現比 Llama 3 差得多。
結論
上面三個公開發布的 LLM 讓過去的 4 月成為了一個非常特殊的月份。而作者最喜歡的模型還是尚未談到的 OpenELM，這是下一節的內容。
在實踐中，我們應該如何選用這些模型呢？作者認為這三種模型都有各自的吸引點。Mixtral 的活躍引數量低於 Llama 3 70B，但依然能維持相當好的效能水平。Phi-3 3.8B 可能比較適合用於移動裝置；其作者表示，Phi-3 3.8B 的一個量化版本可以執行在 iPhone 14 上。而 Llama 3 8B 可能最能吸引各種微呼叫戶，因為使用 LoRA 在單臺 GPU 上就能輕鬆對其進行微調。
OpenELM：一個使用開源訓練和推理框架的高效語言模型系列
OpenELM 是蘋果公司釋出的最新 LLM 模型套件和論文，其目標是提供可在移動裝置上部署的小型 LLM。
類似於 OLMo，這篇 LLM 論文的亮眼之處是其詳細分享了架構、訓練方法和訓練資料。
OpenELM 與其它使用同樣的資料集、程式碼和權重的開源 LLM 的比較（這樣的模型不多，但都是開放的）。圖表來自 OpenELM 論文：https://arxiv.org/abs/2404.14619
先看一些最相關的資訊：
OpenELM 有 4 種相對較小且方便使用的大小：270M、450M、1.1B 和 3B。
每種大小都有一個指令版本可用，其使用了拒絕取樣和直接偏好最佳化進行訓練。
OpenELM 的表現稍優於 OLMo，即便其訓練使用的 token 數量少 2 倍。
其主要的架構調整是逐層擴充套件策略。
架構細節
除了逐層擴充套件策略（細節後面談），OpenELM 的整體架構設定和超引數配置與 OLMo 和 Llama 等其它 LLM 較為相似，見下圖。
OpenELM、最小的 OLMo 模型和最小的 Llama 2 模型的架構和超引數比較。
訓練資料集
他們從多個公共資料集（RefinedWeb、RedPajama、The PILE、Dolma）取樣了一個相對較小的子集，其中包含 1.8T token。這個子集比 OLMo 訓練使用的資料集 Dolma 小 2 倍。但他們是依據什麼標準執行這個取樣的呢？
其中一位作者表示：「至於資料集，我們在資料集取樣方面沒有考慮任何理由，就是希望使用 2T token 規模的公共資料集（遵循 LLama 2 的做法）。」
訓練 OpenELM 使用的 token 數量與資料集中的 token 原數量（請注意 token 的確切數量取決於所用的 token 化器）。圖表來自 OpenELM 論文。
逐層擴充套件
其使用的逐層擴充套件策略（基於論文《DeLighT: Deep and Light-weight Transformer》）非常有趣。從本質上講，這個策略就是從早期到後期的 transformer 模組逐漸對層進行擴寬。特別需要說明，這個過程會保持頭的大小恆定，逐漸增加註意力模組中頭的數量。前饋模組的維度也會擴充套件，如下圖所示。
LLM 架構，來自作者的著作《Build a Large Language Model from Scratch》
作者表示：「我希望有一個在同樣的資料集上使用和不用逐層擴充套件策略訓練 LLM 的消融研究。」但這類實驗的成本很高，沒人做也就可以理解了。
但是，最早提出逐層擴充套件策略的論文《DeLighT: Deep and Light-weight Transformer》中有消融研究，這是基於原始的編碼器 - 解碼器架構在更小的資料集上完成的，如下所示。
標準 transformer 模組和採用了逐層（逐模組）擴充套件策略的 transformer 模組的比較，來自 DeLighT 論文：https://arxiv.org/abs/2008.00623
LoRA 與 DoRA
OpenELM 團隊還給出了一個意外之喜：比較了 LoRA 與 DoRA 在引數高效型微調方面的表現！結果表明，這兩種方法之間並不存在明顯的差異。
LoRA 和 DoRA 這兩種引數高效型微調方法之間的建模效能比較
結論
儘管 OpenELM 論文並未解答任何研究問題，但它寫得很棒，詳細透明地給出了 OpenELM 的實現細節。後面我們可能會看到更多 LLM 使用逐層擴充套件策略。另外，蘋果不止釋出了這一篇論文，也在 GitHub 上公佈了 OpenELM 程式碼：https://github.com/apple/corenet/tree/main/mlx_examples/open_elm
總之，這是很棒的成果，非常感謝其研究團隊（以及蘋果）與我們分享！
更多詳情也可參閱機器之心報導《蘋果 OpenAI 合作，力爭今年生成式 AI 登陸 iPhone》。
在 LLM 對齊方面，DPO 是否優於 PPO？
論文《Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study》解答了一個非常關鍵的問題。（https://arxiv.org/abs/2404.10719 ）
在介紹結果之前，我們先概述一下這篇論文的內容：PPO（近端策略最佳化）和 DPO（直接偏好最佳化）都是透過 RLHF（使用人類反饋的強化學習）實現的用於對齊 LLM 的常用方法。
RLHF 是 LLM 開發過程的一大關鍵元件，其作用是將 LLM 與人類偏好對齊，這可提升 LLM 所生成響應的安全性和實用性等。
典型的 LLM 訓練週期
更詳細的解釋可參看作者上個月釋出的文章：https://magazine.sebastianraschka.com/p/tips-for-llm-pretraining-and-evaluating-rms
RLHF-PPO 和 DPO 是什麼？
最初的 LLM 對齊方法 RLHF-PPO 一直都是 OpenAI 的 InstructGPT 和 ChatGPT 中部署的 LLM 的主幹技術。但是，最近幾個月，隨著 DPO 微調型 LLM 的湧現，情況發生了變化 —— 其對公共排行榜產生了重大影響。DPO 廣受歡迎的原因也許是其無獎勵的特性，這使得其更易使用：不同於 PPO，DPO 並不需要訓練一個單獨的獎勵模型，而是使用一個類似分類的目標來直接更新 LLM。
獎勵模型與 DPO 對比
現如今，公共排行榜上大多數 LLM 都是使用 DPO 訓練的，而不是 PPO。但不幸的是，在這裡介紹的這篇論文之前，還沒人在同樣的資料集上使用同樣的模型比較 PPO 和 DPO 的優劣。
PPO 通常優於 DPO
論文《Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study》中給出了大量實驗的結果，但其中的主要結論是：PPO 通常優於 DPO，且 DPO 更容易受到分佈外資料的影響。
這裡，分佈外資料的意思是 LLM 之前訓練所用的指令資料（使用監督式微調）不同於 DPO 所用的偏好資料。舉個例子，一個 LLM 首先在常用的 Alpaca 資料集上訓練完成，之後再在另一個帶有偏好標籤的資料集上透過 DPO 進行微調。（為了提升在分佈外資料上的 DPO 表現，一種方法是在 DPO 微調之前，新增一輪在偏好資料集上的監督式指令微調。）
下圖總結了主要發現。
論文的主要發現
除了上面給出的主要結果，該論文還包含一些額外的實驗和消融研究，感興趣的讀者可參看原論文。
最佳實踐
此外，這篇論文還包含了一些使用 DPO 和 PPO 時的最佳實踐推薦。
舉個例子，如果你使用 DPO，一定要確保首先在偏好資料上執行監督式微調。而在現有偏好資料上，迭代式 DPO 更優於 DPO，這需要使用一個已有的獎勵模型來標註額外的資料。
如果你使用 PPO，則成功的關鍵因素包括較大的批次大小、advantage normalization 以及透過指數移動平均進行引數更新。
偏好資料示例，來自 Orca 資料集，https://huggingface.co/datasets/Intel/orca_dpo_pairs
總結
基於這篇論文的結果可知，如果使用得當，那麼 PPO 似乎優於 DPO。但是，考慮到 DPO 的使用和實現都更簡單，DPO 可能仍將是大家的首選方法。
作者推薦了一種實踐做法：如果你有基本真值獎勵標籤（這樣就不必預訓練自己的獎勵模型）或可以下載到領域內獎勵模型，就使用 PPO。其它情況就使用 DPO，因為它更簡單。
另外，根據 LLama 3 部落格文章，我們也可以不糾結選哪一個：我們可以兩個一起用！舉個例子，Llama 3 就遵循以下流程：預訓練→監督式微調→拒絕取樣→PPO→DPO
四月釋出的其它有趣論文
最後，作者 Sebastian Raschka 分享了自己在四月份看到的有趣論文。他表示即使與 LLM 成果大量湧現的前幾個月相比，四月份的看點依然很多。
論文：KAN: Kolmogorov–Arnold Networks
連結：https://arxiv.org/abs/2404.19756
Kolmogorov-Arnold Networks（KAN）是使用在邊上的可學習的基於 spline 的函式替換了線性權重引數，並且缺乏固定的啟用引數。KAN 似乎是多層感知器（MLP）的一種頗具吸引力的新替代品，其在準確度、神經擴充套件效能和可解釋性方面都有優勢。
論文：When to Retrieve:Teaching LLMs to Utilize Information Retrieval Effectively
連結：https://arxiv.org/abs/2404.19705
這篇論文為 LLM 提出了一種定製版的訓練方法，可教會它們在不知道答案時透過一個特殊 token <RET> 使用自己的引數記憶或外部資訊檢索系統。
論文：A Primer on the Inner Workings of Transformer-based Language Models
連結：https://arxiv.org/abs/2405.00208
這篇入門解讀論文簡要概述了用於解釋基於 Transformer 的僅解碼器語言模型所使用的技術。
論文：RAG and RAU:A Survey on Retrieval-Augmented Language Model in Natural Language Processing
連結：https://arxiv.org/abs/2404.19543
這篇綜述全面總結了檢索增強型 LLM—— 詳細給出了它們的元件、結構、應用和評估方法。
論文：Better & Faster Large Language Models via Multi-token Prediction
連結：https://arxiv.org/abs/2404.19737
這篇論文認為，訓練 LLM 同時預測多個未來 token 而不只是接下來一個 token 可以提升取樣效率，同時還能提升 LLM 在生成任務上的效能表現。
論文：LoRA Land:310 Fine-tuned LLMs that Rival GPT-4, A Technical Report
連結：https://arxiv.org/abs/2405.00732
LoRA 是使用最為廣泛的引數高效型微調技術，而這項研究發現 4 bit LoRA 微調的模型既顯著優於其基礎模型，也優於 GPT-4。
論文：Make Your LLM Fully Utilize the Context, An, Ma, Lin et al.(25 Apr),
連結：https://arxiv.org/abs/2404.16811
這項研究提出了 FILM-7B。這個模型使用了一種資訊密集型方法訓練得到，可以解決「中間丟失（lost-in-the-middle）」難題，即 LLM 無法檢索上下文視窗中間位置的資訊的問題。
論文：Layer Skip:Enabling Early Exit Inference and Self-Speculative Decoding
連結：https://arxiv.org/abs/2404.16710
LayerSkip 可以加快 LLM 的推理速度，為此其在訓練階段使用了層丟棄和早退，並在推理階段使用了自推測解碼。
論文：Retrieval Head Mechanistically Explains Long-Context Factuality
連結：https://arxiv.org/abs/2404.15574
這篇論文探索了具有長上下文能力的基於 Transformer 的模型在其注意力機制中如何使用特定的「檢索頭」來有效地檢索資訊。從中揭示出這些頭是普適的、稀疏的、內在的、動態啟用的，並且對於需要參考先驗資訊或推理的任務至關重要。
論文：Graph Machine Learning in the Era of Large Language Models (LLMs)
連結：https://arxiv.org/abs/2404.14928
這篇綜述論文總結了圖神經網路和 LLM 正被逐漸整合起來提升圖和推理能力。
論文：NExT:Teaching Large Language Models to Reason about Code Execution
連結：https://arxiv.org/abs/2404.14662
NExT 是一種透過教 LLM 學習分析程式執行來提升 LLM 理解和修復程式碼的能力的方法。
論文：Multi-Head Mixture-of-Experts
連結：https://arxiv.org/abs/2404.15045
這篇論文提出的多頭混合專家（MH-MoE）模型可解決稀疏混合專家的專家啟用率低和難以應對多語義概念的問題，其做法是引入多頭機制，將 token 拆分成被多個專家並行處理的子 token。參看機器之心的報導《微軟讓 MoE 長出多個頭，大幅提升專家啟用率》。
論文：A Survey on Self-Evolution of Large Language Models
連結：https://arxiv.org/abs/2404.14662
這篇論文全面總結了 LLM 的自進化方法，併為 LLM 自進化提出了一個概念框架，另外還給出了提升此類模型的難題和未來方向。
論文：OpenELM:An Efficient Language Model Family with Open-source Training and Inference Framework
連結：https://arxiv.org/abs/2404.14619
蘋果提出的 OpenELM 是一個承襲自 OLMo 的 LLM 套件，包括完整的訓練和評估框架、日誌、檢查點、配置和其它可用於復現研究的工件。
論文：Phi-3 Technical Report:A Highly Capable Language Model Locally on Your Phone
連結：https://arxiv.org/abs/2404.14219
Phi-3-mini 是基於 3.3 萬億 token 訓練的 3.8B 引數 LLM，其基準測試效能可以比肩 Mixtral 8x7B 和 GPT-3.5 等更大型模型。
論文：How Good Are Low-bit Quantized LLaMA3 Models?An Empirical Study
連結：https://arxiv.org/abs/2404.14047
這項實證研究發現，Meta 的 LLaMA 3 模型在超低位寬下會出現嚴重的效能下降。
論文：The Instruction Hierarchy:Training LLMs to Prioritize Privileged Instructions
連結：https://arxiv.org/abs/2404.13208
這項研究提出了一種用於 LLM 的指令層級結構，使其可優先處理受信任的 prompt，在無損其標準能力的前提下提升其應對攻擊的穩健性。
論文：OpenBezoar:Small, Cost-Effective and Open Models Trained on Mixes of Instruction Data
連結：https://arxiv.org/abs/2404.12195
這項研究使用來自 Falcon-40B 的合成資料以及 RLHF 和 DPO 等技術對 OpenLLaMA 3Bv2 模型進行了微調，使其憑藉系統性過濾和微調資料以更小的模型規模實現了頂尖的 LLM 任務效能。
論文：Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing
連結：https://arxiv.org/abs/2404.12253
儘管 LLM 在多種任務上表現出色，但它們難以執行復雜的推理和規劃。這裡提出的 AlphaLLM 整合了蒙特卡洛樹搜尋，可建立一個自我提升迴圈，從而無需額外的資料標註也能提升 LLM 執行推理任務的效能。
論文：When LLMs are Unfit Use FastFit:Fast and Effective Text Classification with Many Classes
連結：https://arxiv.org/abs/2404.12365
FastFit 是一個新的 Python 軟體包，可為語言任務快速準確地處理具有很多相似類別的少樣本分類，其做法是整合批次對比學習和 token 層面的相似度分數，可帶來 3-20 倍的訓練速度提升，並且效能也優於 SetFit 和 HF Transformers 等方法。
論文：A Survey on Retrieval-Augmented Text Generation for Large Language Models
連結：https://arxiv.org/abs/2404.10981
這篇綜述論文討論了檢索增強式生成（RAG）是如何將檢索技術與深度學習結合到了一起，這可讓 LLM 動態整合最新資訊。這篇文章還對 RAG 過程進行了分類，回顧了近期進展並提出了未來研究方向。
論文：How Faithful Are RAG Models?Quantifying the Tug-of-War Between RAG and LLMs' Internal Prior
連結：https://arxiv.org/abs/2404.10198
提供正確的檢索資訊通常能糾正 GPT-4 等大型語言模型的錯誤，但不正確的資訊往往會重複，除非被強大的內部知識反擊。
論文：Scaling (Down) CLIP:A Comprehensive Analysis of Data, Architecture, and Training Strategies
連結：https://arxiv.org/abs/2404.08197
這篇論文探索了降低對比式語言 - 影像預訓練（CLIP）的規模以適配計算預算有限的情況。研究表明，高質量的小規模資料集往往優於大規模低質量資料集，並且對於這些資料集，較小的 ViT 模型是最優的。
論文：Is DPO Superior to PPO for LLM Alignment?A Comprehensive Study
連結：https://arxiv.org/abs/2404.10719
這項研究探索了直接偏好最佳化（DPO）和近端策略最佳化（PPO）在根據人類反饋的強化學習（RLHF）中的效果。結果發現，如果使用得當，PPO 可以在所有案例中超越所有其它替代方法。
論文：Learn Your Reference Model for Real Good Alignment
連結：https://arxiv.org/abs/2404.09656
這篇論文展現了新的對齊方法：信任區域直接偏好最佳化（TR-DPO）。其會在訓練階段更新推理策略；其優於現有技術，能提升在多個引數上的模型質量 —— 在特定資料集上能帶來高達 19% 的效能提升。
論文：Chinchilla Scaling:A Replication Attempt
連結：https://arxiv.org/abs/2404.10102
該論文的作者試圖復現 Hoffmann et al. 提出的一種用於估計計算最優型擴充套件律的方法，其中發現了與使用其它方法得到的原始估計不一致且難以置信的結果。
論文：State Space Model for New-Generation Network Alternative to Transformers:A Survey
連結：https://arxiv.org/abs/2404.09516
這篇論文給出了對狀態空間模型（SSM）的全面概述和實驗分析。SSM 是 Transformer 架構的一種高效型替代技術。這篇論文詳細說明了 SSM 的原理，其在多個領域的應用，並透過統計資料比較展現了其優勢和潛在的未來研究方向。
論文：LLM In-Context Recall is Prompt Dependent
連結：https://arxiv.org/abs/2404.08865
這項研究評估了多種 LLM 在上下文中進行回憶的能力。其做法是在文字塊中嵌入一個模擬陳述（factoid），然後評估模型在不同條件下檢索這個資訊的效能，結果表明該效能會受到 prompt 內容和訓練資料中的潛在偏見的雙重影響。
論文：Dataset Reset Policy Optimization for RLHF
連結：https://arxiv.org/abs/2404.08495
這項研究提出了資料集重置策略最佳化（DR-PO）。這是一種新的基於人類偏好的反饋的強化學習（RLHF）演算法，其能將離線的偏好資料集直接整合進線上的策略訓練，從而提升訓練效果。
論文：Pre-training Small Base LMs with Fewer Tokens
連結：https://arxiv.org/abs/2404.08634
這項研究提出了繼承微調（Inheritune），可用於開發較小型的基礎語言模型。其做法是從大型模型繼承一小部分 transformer 模組，然後在該大型模型的一小部分資料上進行訓練。結果表明這些小型模型的效能可比肩大型模型，儘管它們使用的訓練資料和資源都少得多。
論文：Rho-1:Not All Tokens Are What You Need
連結：https://arxiv.org/abs/2404.07965
Rho-1 是一種新的語言模型，其訓練過程並未採用傳統的下一 token 預測方法，而是在展現出更高超額損失的 token 上進行選擇性的訓練。
論文：Best Practices and Lessons Learned on Synthetic Data for Language Models
連結：https://arxiv.org/abs/2404.07503
這篇論文總結了 LLM 語境中的合成資料研究。
論文：JetMoE:Reaching Llama2 Performance with 0.1M Dollars, Shen, Guo, Cai, and Qin (11 Apr),
連結：https://arxiv.org/abs/2404.07413
JetMoE-8B 是一個 8B 引數的稀疏門控式混合專家模型，其訓練使用了 1.25 萬億 token，成本不到 10 萬美元，但其憑每輸入 token 2B 引數和「僅僅」30000 GPU 小時數就在效能表現上超過了 Llama2-7B 等成本更高的模型。
論文：LLoCO:Learning Long Contexts Offline
連結：https://arxiv.org/abs/2404.07979
LLoCO 這種方法是將上下文壓縮、檢索和引數高效型微調與 LoRA 結合到一起，從而可以有效地擴充套件 LLaMA2-7B 模型的上下文視窗，使其可以處理多達 128k token。
論文：Leave No Context Behind:Efficient Infinite Context Transformers with Infini-attention
連結：https://arxiv.org/abs/2404.07143
這項研究提出了一種擴充套件基於 transformer 的 LLM 的方法，使其可以高效處理無限長的輸入。其思路是在單個 transformer 模組中組合使用多種注意力策略來處理具有廣泛上下文需求的任務。
論文：Adapting LLaMA Decoder to Vision Transformer
連結：https://arxiv.org/abs/2404.06773
這篇論文研究了基於 Llama 等僅解碼器 transformer LLM 來執行計算機視覺任務，其做法是使用後序列類別 token 和一種軟性掩碼策略等技術來修改標準視覺 Transformer（ViT）。
論文：LLM2Vec:Large Language Models Are Secretly Powerful Text Encoders
連結：https://arxiv.org/abs/2404.05961
這項研究提出了一種簡單的無監督方法，可將解碼器式的 LLM（如 GPT 和 Llama）轉換成強大的文字編碼器，其做法有三：1. 禁用因果注意掩碼、2. 掩碼式下一 token 預測、3. 無監督對比學習。
論文：Elephants Never Forget:Memorization and Learning of Tabular Data in Large Language Models
連結：https://arxiv.org/abs/2404.06209
這篇論文聚焦於 LLM 中的資料汙染和記憶形成等關鍵問題，結果發現 LLM 往往會記住常見的表格式資料，並且在訓練期間見過的資料集上表現更好，而這會導致過擬合。
論文：MiniCPM:Unveiling the Potential of Small Language Models with Scalable Training Strategies
連結：https://arxiv.org/abs/2404.06395
這項研究提出了一個新的資源高效型「小」語言模型系列，引數量範圍在 1.2B 到 2.4B 之間；其中使用的技術包括預熱 - 穩定 - 衰減學習率排程器，這對連續預訓練和領域適應很有用。
論文：CodecLM:Aligning Language Models with Tailored Synthetic Data
連結：https://arxiv.org/abs/2404.05875
CodecLM 這個框架是使用編碼 - 解碼原理和 LLM 作為編解碼器自適應地生成用於對齊 LLM 的高質量合成資料，其中包含多種指令分佈，能提升 LLM 遵循複雜多樣化指令的能力。
論文：Eagle and Finch:RWKV with Matrix-Valued States and Dynamic Recurrence
連結：https://arxiv.org/abs/2404.05892
Eagle 和 Finch 是基於 RWKV 架構的新序列模型，其中引入了多頭矩陣狀態和動態遞迴等功能。
論文：AutoCodeRover:Autonomous Program Improvement
連結：https://arxiv.org/abs/2404.05427
AutoCodeRover 是一種自動化方法，其使用了 LLM 和高階程式碼搜尋透過修改軟體程式來解決 GitHub 問題。
論文：Sigma:Siamese Mamba Network for Multi-Modal Semantic Segmentation
連結：https://arxiv.org/abs/2404.04256
Sigma 是一種使用 Siamese Mamba（結構狀態空間模型）網路進行多模態語義分割的方法，它將熱度和深度等不同模態與 RGB 相結合，可成為 CNN 和視覺 Transformer 的替代方法。
論文：Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data
連結：https://arxiv.org/abs/2404.03862
Quote-Tuning 可提升 LLM 的可信度和準確度（相比於標準模型可提升 55% 到 130%），其做法是讓 LLM 學會更多地逐詞引用可靠來源。
論文：ReFT:Representation Finetuning for Language Models
連結：https://arxiv.org/abs/2404.03592
這篇論文提出了表徵微調（ReFT）方法，該方法類似於引數高效型微調（PEFT），能透過僅修改模型的隱藏表徵（而不是整套引數）來高效地適應大型模型。
論文：CantTalkAboutThis:Aligning Language Models to Stay on Topic in Dialogues
連結：https://arxiv.org/abs/2404.03820
這篇論文提出了 CantTalkAboutThis 資料集，其設計目的是幫助 LLM 在面向任務的對話中不偏離話題（其中包括多種領域的合成對話，並具有分散話題的內容，可以訓練模型不偏離話題）。
論文：Training LLMs over Neurally Compressed Text
連結：https://arxiv.org/abs/2404.03626
這篇論文提出了一種在經過神經壓縮的文字（使用一個小型語言模型壓縮後的文字）上訓練 LLM 的方法，其中使用了一種名為 Equal-Info Windows 的技術 —— 作用是將文字分割成同等位長的塊。
論文：Direct Nash Optimization:Teaching Language Models to Self-Improve with General Preferences
連結：https://arxiv.org/abs/2404.02151
這篇論文提出了一種用於 LLM 後訓練的方法：直接納什最佳化（DNO）。該方法是使用來自預言機的偏好反饋來迭代式地提升模型效能，可成為其它 RLHF 方法的替代技術。
論文：Cross-Attention Makes Inference Cumbersome in Text-to-Image Diffusion Models
連結：https://arxiv.org/abs/2404.02747
這篇論文探究了交叉注意力在文字條件式擴散模型的推理階段的工作方式 —— 研究發現其會在一定位置穩定下來，另外還發現：如果在這個收斂點之後繞過文字輸入，可在無損輸出質量的情況下簡化這個過程。
論文：BAdam:A Memory Efficient Full Parameter Training Method for Large Language Models
連結：https://arxiv.org/abs/2404.02827
BAdam 是一個記憶體高效型最佳化器，可以提升微調 LLM 的效率，而且其使用便捷，僅有一個額外的超引數。
論文：On the Scalability of Diffusion-based Text-to-Image Generation
連結：https://arxiv.org/abs/2404.02883
這篇論文透過實證研究了基於擴散的文生圖模型的擴充套件性質。其中分析了擴充套件去噪主幹模型和訓練集的效果，揭示出：交叉注意力和 transformer 模組的效率會極大影響效能。另外，論文還給出了以更低成本提升文字 - 影像對齊和學習效率的策略。
論文：Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks
連結：https://arxiv.org/abs/2404.02151
這項研究揭示出：即使圍繞安全而構建的最新 LLM 也會被自適應技術輕鬆越獄。使用對抗性提示工程、利用 API 漏洞和 token 搜尋空間限制等方法，對各種模型都能達到接近 100% 的越獄成功率。
論文：Emergent Abilities in Reduced-Scale Generative Language Models
連結：https://arxiv.org/abs/2404.02204
這項研究發現，如果能將預訓練資料集的規模縮小和簡化，非常「小」的 LLM（引數量從 1M 到 165M）也能展現出湧現性質。
論文：Long-context LLMs Struggle with Long In-context Learning
連結：https://arxiv.org/abs/2404.02060
LIConBench 是一個關注長上下文學習和極端標籤分類的新基準。實驗結果表明，儘管 LLM 擅長處理多達 20K token，但當序列更長時，它們的效能就下降了，只有 GPT-4 例外，這說明在處理上下文資訊豐富的文字方面，各個模型之間存在差距。
論文：Mixture-of-Depths:Dynamically Allocating Compute in Transformer-Based Language Models
連結：https://arxiv.org/abs/2404.02258
這篇論文提出的混合深度方法可讓基於 transformer 的語言模型為輸入序列的不同部分動態地分配計算資源（FLOPs），從而可透過在每層選取特定的 token 進行處理而實現對效能和效率的最佳化。參看機器之心報導《DeepMind 升級 Transformer，前向透過 FLOPs 最多可降一半》。
論文：Diffusion-RWKV:Scaling RWKV-Like Architectures for Diffusion Models
連結：https://arxiv.org/abs/2404.04478
這篇論文提出的 Diffusion-RWKV 是用於 NLP 的 RWKV 架構的一種變體，其中納入了用於影像生成的擴散模型。
論文：The Fine Line:Navigating Large Language Model Pretraining with Down-streaming Capability Analysis
連結：https://arxiv.org/abs/2404.01204
這項研究發現使用早期階段就能預測最終的 LLM，這有助於在預訓練期間分析 LLM 並改進預訓練設定。
論文：Bigger is not Always Better:Scaling Properties of Latent Diffusion Models
連結：https://arxiv.org/abs/2404.01367
這項研究探討了隱擴散模型的大小對不同步驟和任務的取樣效率有何影響。結果揭示出：在給定推理預算時，較小的模型往往能得到更高質量的結果。參看機器之心報導《大模型一定就比小模型好？谷歌的這項研究說不一定》。
論文：Do Language Models Plan Ahead for Future Tokens?
連結：https://arxiv.org/abs/2404.00859
這項研究透過實驗發現：Transformer 能在推理階段透過「預快取」和「麵包屑」機制預測未來資訊。參看機器之心報導《Transformer 本可以深謀遠慮，但就是不做》。
參考連結：https://magazine.sebastianraschka.com/p/how-good-are-the-latest-open-llms