NeurIPS 2024｜杜克大學&谷歌提出SLED解碼框架，無需外部資料與額外訓練，有效緩解大語言模型幻覺，提高事實準確性

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

此項研究成果已被 NeurIPS 2024 錄用。該論文的第一作者是杜克大學電子計算機工程系的博士生張健一，其主要研究領域為生成式 AI 的機率建模與可信機器學習，導師為陳怡然教授。

大語言模型（LLM）在各種任務上展示了卓越的效能。然而，受到幻覺（hallucination）的影響，LLM 生成的內容有時會出現錯誤或與事實不符，這限制了其在實際應用中的可靠性。

針對這一問題，來自杜克大學和 Google Research 的研究團隊提出了一種新的解碼框架 —— 自驅動 Logits 進化解碼（SLED），旨在提升大語言模型的事實準確性，且無需依賴外部知識庫，也無需進行額外的微調。

• 論文地址：https://arxiv.org/pdf/2411.02433

• 專案主頁：https://jayzhang42.github.io/sled_page/

• Github地址：https://github.com/JayZhang42/SLED

• 作者主頁：https://jayzhang42.github.io

^{圖一：Factuality Decoding 的 “三體問題”}

圖一中，考慮到每條問題的標準答案都已包含訓練資料集中，因此可以說訓練時，真實世界的事實分佈是已知的。LLM 的訓練正是為了縮小 LLM 輸出分佈 和真實事實分佈 之間的差距。

概括來說， SLED 方法透過對比最後一層的和前面幾層的，有效地挖掘了 LLMs 內部的潛在知識。

同時，研究者也指出 LLM 中的潛在知識雖然有價值，但可能並不完美。因此，SLED 不是簡單地使用這些潛在知識替換原始輸出，而是透過類似於對輸出 進行 “梯度下降” 的操作，將其整合到原始輸出中，從而有效地平衡了兩者，避免了過擬合等潛在的風險。

為了提高事實準確性，需要確保正確的 token， 在輸出分佈中獲得更高的機率。這一過程可以透過最佳化以下損失函式 L 來描述，其中。

• LLM 的訓練實際上一個是由訓練資料集作為外部驅動的 Logits 進化過程；
• LLM 的訓練為這個最佳化過程找到的解就是最後一層的輸出 。

從上面的理解出發，可以預期最後一層的輸出的對應的，通常要比前面幾層的輸出 對應的要更接近訓練時的。這一點也在圖三中得到了驗證。

因此，受到經典梯度下降演算法的啟發，研究者透過如下的近似來反向估計

這裡對 的估計，實際上也就是之前提到的潛在知識，因此用來表示。在此基礎上，研究者透過類似梯度下降的方式，用估計出來的潛在知識，實現了對 自驅動進化，

從而得到了一個更接近事實分佈的最終輸出。更細節的方法設計和討論，請參考原文。