無限生成影片，還能規劃決策，擴散強制整合下一token預測與全序列擴散

當前，採用下一 token 預測正規化的自迴歸大型語言模型已經風靡全球，同時網際網路上的大量合成影像和影片也早已讓我們見識到了擴散模型的強大之處。

近日，MIT CSAIL 的一個研究團隊（一作為 MIT 在讀博士陳博遠）成功地將全序列擴散模型與下一 token 模型的強大能力統合到了一起，提出了一種訓練和取樣正規化：Diffusion Forcing（DF）。

• 論文標題：Diffusion Forcing:Next-token Prediction Meets Full-Sequence Diffusion

• 論文地址：https://arxiv.org/pdf/2407.01392

• 專案網站：https://boyuan.space/diffusion-forcing

• 程式碼地址：https://github.com/buoyancy99/diffusion-forcing

如下所示，擴散強制在一致性和穩定性方面都明顯勝過全序列擴散和教師強制這兩種方法。

對於序列，可將這種操作描述成：沿時間軸執行掩碼。我們可以將全序列前向擴散（即逐漸向資料新增噪聲的過程）看作一種部分掩碼（partial masking），這可被稱為「沿噪聲軸執行掩碼）。

事實上，在 K 步加噪之後，（大概）就是白噪聲了，不再有任何有關原資料的資訊。

擴散強制（DF）框架可用於訓練和取樣任意序列長度的有噪聲 token ，其中的關鍵在於每個 token 的噪聲水平 k_t 會隨時間步驟而變化。

權重為 θ 的 RNN 維護著獲悉過去 token 影響的隱藏狀態 z_t，其會透過一個迴圈層根據動態而演化。當獲得輸入噪聲觀察時，就以馬爾可夫方式更新該隱藏狀態。

定理 3.1（非正式）。擴散強制訓練流程（演算法 1）是在期望對數似然上最佳化證據下限（ELBO）的重新加權，其中期望值會在噪聲水平上平均，而是根據前向過程加噪。此外，在適當條件下，最佳化 (3.1) 式還可以同時最大化所有噪聲水平序列的似然下限。

• 讓自迴歸生成變得穩定
• 保持未來的不確定
• 長期引導能力

首先，定義一個馬爾可夫決策過程，該過程具有動態 p (s_{t+1}|s_t, a_t)、觀察 p (o_t|s_t) 和獎勵 p (r_t|s_t, a_t)。這裡的目標是訓練一個策略 π(a_t|o_{1:t})，使得軌跡 的預期累積獎勵最大化。這裡分配 token x_t = [a_t, r_t, o_{t+1}]。一條軌跡就是一個序列 x_{1:T}，其長度可能是可變的；訓練方式則如演算法 1 所示。

在執行過程的每一步 t，都有一個隱藏狀態 z_{t-1} 總結過去的無噪聲 token x_{1:t-1}。基於這個隱藏狀態，根據演算法 2 取樣一個規劃，其中包含預測的動作、獎勵和觀察。H 是一個前向觀察視窗，類似於模型預測控制中的未來預測。在採用了規劃的動作之後，環境會得到一個獎勵和下一個觀察，從而得到下一個 token。其中隱藏狀態可以根據後驗 p_θ(z_t|z_{t−1}, x_t, 0) 獲得更新。

• 具有靈活的規劃範圍
• 可實現靈活的獎勵引導
• 能實現蒙特卡洛樹引導（MCTG），從而實現未來不確定性

此外，當第三個位置有一個水果時，就無法透過當前觀察推斷出所需結果 —— 策略必須記住初始配置才能決定移動哪個水果。不同於常用的行為克隆方法，DF 可以自然地將記憶整合進自己的隱藏狀態中。結果發現，DF 能實現 80% 的成功率，而擴散策略（當前最佳的無記憶模仿學習演算法）卻失敗了。