五十多年前的理論還值得再研究一下？
「相比於強化學習（RL），我確實更喜歡模型預測控制（MPC）。至少從 2016 年起，我就一直在強調這一點。強化學習在學習任何新任務時都需要進行極其大量的嘗試。相比之下，模型預測控制是零樣本的：如果你有一個良好的世界模型和一個良好的任務目標，模型預測控制就可以在不需要任何特定任務學習的情況下解決新任務。這就是規劃的魔力。這並不意味著強化學習是無用的，但它的使用應該是最後的手段。」
在最近釋出的一個帖子中，Meta 首席人工智慧科學家 Yann LeCun 發表了這樣一番看法。
一直以來，Yann LeCun 都是強化學習的批評者。他認為，強化學習這種方法需要大量的試驗，非常低效。這和人類的學習方式大相徑庭 —— 嬰兒不是透過觀察一百萬個相同物體的樣本來識別物體，或者嘗試危險的東西並從中學習，而是透過觀察、預測和與它們互動，即使沒有監督。
在半年前的一次演講中，他甚至主張「放棄強化學習」（參見《GPT-4 的研究路徑沒有前途？Yann LeCun 給自迴歸判了死刑》）。但在隨後的一次採訪中，他又解釋說，他的意思並不是完全放棄，而是最小化強化學習的使用，訓練系統的正確方法是首先讓它從主要觀察（也許還有一點互動）中學習世界和世界模型的良好表示。
同時，LeCun 也指出，相比於強化學習，他更傾向於 MPC（模型預測控制）。
MPC 是一種使用數學模型在有限時間內實時最佳化控制系統的技術，自二十世紀六七十年代問世以來，已廣泛應用於化學工程、煉油、先進製造、機器人和航空航天等各個領域。比如，前段時間，波士頓動力就分享了他們利用 MPC 進行機器人控制的多年經驗（參見《波士頓動力技術揭秘：後空翻、俯臥撐與翻車，6 年經驗、教訓總結》）。
MPC 的最新發展之一是與機器學習技術的整合，即 ML-MPC。在這種方法中，機器學習演算法用於估計系統模型、進行預測和最佳化控制動作。機器學習和 MPC 的這種結合有可能在控制效能和效率方面提供顯著的改進。
LeCun 的世界模型相關研究也用到了 MPC 相關理論。
最近，LeCun 對於 MPC 的偏愛又在 AI 社群引發了一些關注。
有人說，如果我們的問題能夠很好地建模，並且具有可預測的 dynamics，MPC 就會很好地發揮作用。
或許對於電腦科學家來說，訊號處理和控制領域還有很多值得挖掘的東西。
不過，也有人指出，求解精確的 MPC 模型是個很難的問題，LeCun 觀點中的前提 ——「如果你有一個良好的世界模型」本身就難以實現。
還有人說，強化學習和 MPC 未必是二選一的關係，二者可能有各自的適用場景。
之前已經有一些研究將二者結合起來使用，效果很好。
強化學習 vs MPC
在前面的討論中，有網友推薦了一篇 Medium 文章，分析對比了強化學習與 MPC。
接下來，就讓我們根據這篇技術部落格，具體分析下兩者的優缺點。
強化學習（RL）和模型預測控制（MPC）是最佳化控制系統的兩種強大技術。兩種方法都有其優點和缺點，解決問題的最佳方法取決於特定問題的具體要求。
那麼，兩種方法的優缺點分別有哪些，又適用於解決哪些問題呢？
強化學習
強化學習是一種透過反覆試驗來學習的機器學習方法。它特別適合解決複雜動力學或未知系統模型的問題。在強化學習中，智慧體學習在環境中採取行動以最大化獎勵訊號。智慧體與環境互動，觀察結果狀態並採取行動。然後根據結果給予智慧體獎勵或懲罰。隨著時間的推移，智慧體將學會採取能夠帶來更積極獎勵的行動。強化學習在控制系統中有多種應用，旨在提供動態自適應方法來最佳化系統行為。一些常見的應用包括：
自主系統：強化學習用於自主控制系統，例如自動駕駛、無人機和機器人，以學習導航和決策的最佳控制策略。
機器人技術：強化學習使機器人能夠學習並調整其控制策略，以完成複雜動態環境中抓取物體、操縱和運動等任務。
......
強化學習（RL）工作流。
智慧體：學習者和決策者。
環境：智慧體與之互動的環境或實體。智慧體觀察並採取行動，影響環境。
狀態：對世界狀態的完整描述。智慧體可以完全觀察或部分觀察狀態。
獎勵：指示智慧體績效的標量反饋。智慧體的目標是最大化長期總獎勵。智慧體會基於獎勵改變策略。
動作空間：智慧體可以在給定環境中執行的一組有效動作。有限的動作構成離散的動作空間；無限的動作構成連續的動作空間。
模型預測控制
模型預測控制（Model Predictive Control，MPC）是一種廣泛使用的控制策略，已應用於許多領域，包括過程控制、機器人、自主系統等等。
MPC 的核心宗旨是使用系統的數學模型來預測未來的行為，然後利用該知識來產生控制操作，以最大化某些效能目標。
經過多年的不斷改進和完善，MPC 現在可以處理日益複雜的系統和困難的控制問題。如下圖所示，在每個控制間隔，MPC 演算法計算控制範圍的開環序列，以最佳化預測範圍內受控體（plant）的行為。
離散 MPC 方案。
MPC 在控制系統中的應用包括：
過程工業
電力系統
汽車控制
機器人技術
其中，MPC 在機器人系統中用於規劃和最佳化運動軌跡，確保機械臂和機器人平臺在各種應用（包括製造和物流）中平穩高效地運動。
下表列出了強化學習和 MPC 在模型、學習方法、速度、穩健性、樣本效率、適用場景等方面的區別。一般來說，對於難以建模或具有複雜動態的問題，強化學習是合適的選擇。對於建模良好且動態可預測的問題，MPC 是一個不錯的選擇。
MPC 的最新進展之一是與機器學習技術的整合，即 ML-MPC。ML-MPC 採用和傳統 MPC 不同的方法來進行控制，使用機器學習演算法來估計系統模型、進行預測和生成控制動作。它背後的主要思想是使用資料驅動模型來克服傳統 MPC 的侷限性。
基於機器學習的 MPC 可以實時適應不斷變化的條件，使其適用於動態和不可預測的系統。與基於模型的 MPC 相比，基於機器學習的 MPC 可以提供更高的準確性，尤其是在複雜且難以建模的系統中。
此外，基於機器學習的 MPC 可以降低模型的複雜性，使其更易於部署和維護。不過，與傳統 MPC 相比，ML-MPC 也有一些侷限性，比如需要大量資料來訓練模型、可解釋性差等等。
看來，要想真正將 MPC 引入 AI 領域，電腦科學家們還有很長的路要走。
參考連結：https://medium.com/@airob/reinforcement-learning-vs-model-predictive-control-f43f97a0be27