設想一下，當你站在房間內，準備向門口走去，你是透過自迴歸的方式逐步規劃路徑嗎？實際上，你的路徑是一次性整體生成的。
近期的研究表明，採用擴散模型的規劃模組能夠同時生成長序列的軌跡規劃，這更加符合人類的決策模式。此外，擴散模型在策略表徵和資料合成方面也能為現有的決策智慧演算法提供更優的選擇。
來自上海交通大學的團隊撰寫的綜述論文《Diffusion Models for Reinforcement Learning: A Survey》梳理了擴散模型在強化學習相關領域的應用。綜述指出現有強化學習演算法面臨長序列規劃誤差累積、策略表達能力受限、互動資料不足等挑戰，而擴散模型已經展現出解決強化學習問題中的優勢，併為應對上述長期以來的挑戰帶來新的思路。
論文連結：https://arxiv.org/abs/2311.01223
專案地址：https://github.com/apexrl/Diff4RLSurvey
該綜述根據擴散模型在強化學習中扮演的角色對現有工作進行分類，並列舉了不同強化學習相關場景下擴散模型的成功案例。綜述最後對用擴散模型解決強化學習問題的領域提出未來發展方向的展望。
圖 1：擴散模型在經典的智慧體 - 環境 - 經驗回放池迴圈中與以往解決方案相比起到不同作用的示意圖。
擴散模型在強化學習中扮演的角色
文章根據擴散模型在強化學習中扮演角色的不同，分類比較了擴散模型的應用方式和特點。
圖 2：擴散模型在強化學習中扮演的不同角色。
軌跡規劃
強化學習中的規劃指透過使用動態模型在想象中做決策，再選擇最大化累積獎勵的適當動作。規劃的過程通常會探索各種動作和狀態的序列，從而提升決策的長期效果。在基於模型的強化學習（MBRL）框架中，規劃序列通常以自迴歸方式進行模擬，導致累積誤差。擴散模型可以同時生成多步規劃序列。現有文章用擴散模型生成的目標非常多樣，包括 (s,a,r)、(s,a)、僅有 s、僅有 a 等等。為了在線上評估時生成高獎勵的軌跡，許多工作使用了有分類器或無分類器的引導取樣技術。
策略表徵
擴散規劃器更近似傳統強化學習中的 MBRL，與之相對，將擴散模型作為策略更類似於無模型強化學習。Diffusion-QL 首先將擴散策略與 Q 學習框架結合。由於擴散模型擬合多模態分佈的能力遠超傳統模型，擴散策略在由多個行為策略取樣的多模態資料集中表現良好。擴散策略與普通策略相同，通常以狀態作為條件生成動作，同時考慮最大化 Q (s,a) 函式。Diffusion-QL 等方法在擴散模型訓練時加上加權的價值函式項，而 CEP 從能量的視角構造加權迴歸目標，用價值函式作為因子，調整擴散模型學到的動作分佈。
資料合成
擴散模型可以作為資料合成器，來緩解離線或線上強化學習中資料稀少的問題。傳統強化學習資料增強方法通常只能對原有資料進行小幅擾動，而擴散模型強大的分佈擬合能力使其可以直接學習整個資料集的分佈，再取樣出新的高質量資料。
其他型別
除了以上幾類，還有一些零散的工作以其他方式使用擴散模型。例如，DVF 利用擴散模型估計值函式。LDCQ 首先將軌跡編碼到隱空間上，再在隱空間上應用擴散模型。PolyGRAD 用擴散模型學習環境動態轉移，允許策略和模型互動來提升策略學習效率。
在不同強化學習相關問題中的應用
離線強化學習
擴散模型的引入有助於離線強化學習策略擬合多模態資料分佈並擴充套件了策略的表徵能力。Diffuser 首先提出了基於分類器指導的高獎勵軌跡生成演算法並啟發了大量的後續工作。同時，擴散模型也能應用在多工與多智慧體強化學習場景。
圖 3：Diffuser 軌跡生成過程和模型示意圖
線上強化學習
研究者證明擴散模型對線上強化學習中的價值函式、策略也具備最佳化能力。例如，DIPO 對動作資料重標註並使用擴散模型訓練，使策略避免了基於價值引導訓練的不穩定性；CPQL 則驗證了單步取樣擴散模型作為策略能夠平衡互動時的探索和利用。
模仿學習
模仿學習透過學習專家演示資料來重建專家行為。擴散模型的應用有助於提高策略表徵能力以及學習多樣的任務技能。在機器人控制領域，研究發現擴散模型能夠在保持時序穩定性的條件下預測閉環動作序列。Diffusion Policy 採用影像輸入的擴散模型生成機器人動作序列。實驗表明擴散模型能夠生成有效閉環動作序列，同時保證時序一致性。
圖 4：Diffusion Policy 模型示意圖
軌跡生成
擴散模型在強化學習中的軌跡生成主要聚焦於人類動作生成以及機器人控制兩類任務。擴散模型生成的動作資料或影片資料被用於構建模擬模擬器或訓練下游決策模型。UniPi 訓練了一個影片生成擴散模型作為通用策略，透過接入不同的逆動力學模型來得到底層控制命令，實現跨具身的機器人控制。
圖 5：UniPi 決策過程示意圖。
資料增強
擴散模型還可以直接擬合原始資料分佈，在保持真實性的前提下提供多樣的動態擴充套件資料。例如，SynthER 和 MTDiff-s 透過擴散模型生成了訓練任務的完整環境轉移資訊並將其應用於策略的提升，且結果顯示生成資料的多樣程度以及準確性都優於歷史方法。
圖 6：MTDiff 進行多工規劃和資料增強的示意圖
未來展望
生成式模擬環境
如圖 1 所示，現有研究主要利用擴散模型來克服智慧體和經驗回放池的侷限性，利用擴散模型增強模擬環境的研究比較少。Gen2Sim 利用文生圖擴散模型在模擬環境中生成多樣化的可操作物體來提高機器人精密操作的泛化能力。擴散模型還有可能在模擬環境中生成狀態轉移函式、獎勵函式或多智慧體互動中的對手行為。
加入安全約束
透過將安全約束作為模型的取樣條件，基於擴散模型的智慧體可以做出滿足特定約束的決策。擴散模型的引導取樣允許透過學習額外的分類器來不斷加入新的安全約束，而原模型的引數保持不變，從而節省額外的訓練開銷。
檢索增強生成
檢索增強生成技術能夠透過訪問外部資料集增強模型能力，在大語言模型上得到廣泛的應用。透過檢索與智慧體當前狀態相關的軌跡並輸入到模型中，基於擴散的決策模型在這些狀態下的效能同樣可能得到提升。如果檢索資料集不斷更新，智慧體有可能在不重新訓練的情況下表現出新的行為。
組合多種技能
與分類器引導或無分類器引導相結合，擴散模型可以組合多種簡單技能來完成複雜任務。離線強化學習中的早期結果也表明擴散模型可以共享不同技能之間的知識，從而有可能透過組合不同技能實現零樣本遷移或持續學習。
表格
圖 7：相關論文彙總分類表格。