一鍵生成可玩遊戲世界。
問世才兩個星期，谷歌的世界模型也來了，能力看起來更強大：它生成的虛擬世界「自主可控」。
剛剛，谷歌定義了生成式 AI 的全新正規化 —— 生成式互動環境（Genie，Generative Interactive Environments）。Genie 是一個 110 億引數的基礎世界模型，可以透過單張影像提示生成可玩的互動式環境。
我們可以用它從未見過的影像進行提示，然後與自己想象中的虛擬世界進行互動。
不管是合成影像、照片甚至手繪草圖，Genie 都可以從中生成無窮無盡的可玩世界。
Genie 由三個部分組成：一個潛在動作模型，用於推斷每對幀之間的潛在動作；一個影片 tokenizer，用於將原始影片幀轉換為離散 token；一個動態模型，用於在給定潛在動作和過去幀 token 的情況下，預測影片的下一幀。
看到這項技術釋出，很多人表示：谷歌又要來領導 AI 技術了。
谷歌還提出，Genie 學到的潛在動作可以轉移到真實的人類設計的環境中。在這個假設基礎上，谷歌針對機器人影片訓練了一個 Genie 模型，作為機器人領域潛在世界模型應用的概念驗證。
被顛覆的遊戲、設計、XR、機器人行業……
我們可以從四個維度來理解 Genie 的革命性意義。
首先，Genie 可以在沒有動作標籤時學習控制。
具體來說，Genie 藉助大量公開的網際網路影片資料集進行了訓練，沒有任何動作標籤資料。
這本來是一個挑戰，因為網際網路影片通常沒有關於正在執行哪個動作、應該控制影像哪一部分的標籤，但 Genie 能夠專門從網際網路影片中學習細粒度的控制。
對於 Genie 而言，它不僅瞭解觀察到的哪些部分通常是可控的，而且還能推斷出在生成環境中一致的各種潛在動作。需要注意的是，相同的潛在動作如何在不同的 prompt 影像中產生相似的行為。
其次，Genie 可以培養下一代「創作者」（creator）。
只需要一張影像就可以建立一個全新的互動環境，這為生成和進入虛擬世界的各種新方法開啟了大門。例如，我們可以使用最先進的文字生成影像模型來生成起始幀，然後與 Genie 一起生成動態互動環境。
在如下動圖中，谷歌使用 Imagen2 生成了影像，再使用 Genie 將它們變為現實：
Genie 能做到的不止如此，它還可以應用到草圖等人類設計相關的創作領域。
或者，應用在真實世界的影像中：
再次，谷歌認為 Genie 是實現通用智慧體的基石之作。以往的研究表明，遊戲環境可以成為開發 AI 智慧體的有效測試平臺，但常常受到可用遊戲數量的限制。
現在藉助 Genie，未來的 AI 智慧體可以在新生成世界的無休止的 curriculum 中接受訓練。谷歌提出一個概念證明，即 Genie 學到的潛在動作可以轉移到真實的人類設計的環境中。
最後，谷歌表示，Genie 是一種通用方法，可以應用於多個領域，而不需要任何額外的領域知識。
儘管所用資料更多是 2D Platformer 遊戲遊戲和機器人影片，但該方法具備通用性，適用於任何型別的領域，並可擴充套件到更大的網際網路資料集。
谷歌在 RT1 的無動作影片上訓練了一個較小的 2.5B 模型。與 Platformers 的情況一樣，具有相同潛在動作序列的軌跡通常會表現出相似的行為。
這表明 Genie 能夠學習一致的動作空間，這可能適合訓練機器人，打造通用化的具身智慧。
技術揭秘：論文《Genie: Generative Interactive Environments》已公佈
谷歌 DeepMind 已經放出了 Genie 論文。
論文地址：https://arxiv.org/pdf/2402.15391.pdf
專案主頁：https://sites.google.com/view/genie-2024/home?pli=1
論文的共同一作多達 6 人，其中包括華人學者石宇歌（Yuge (Jimmy) Shi）。她目前是谷歌 DeepMind 研究科學家， 2023 年獲得牛津大學機器學習博士學位。
方法介紹
Genie 架構中的多個元件基於 Vision Transformer (ViT) 構建而成。值得注意的是，由於 Transformer 的二次記憶體成本給影片領域帶來了挑戰，影片最多可以包含 𝑂(10^4 ) 個 token。因此，谷歌在所有模型元件中採用記憶體高效的 ST-transformer 架構（見圖 4），以此平衡模型容量與計算約束。
Genie 包含三個關鍵元件（如下圖所示）：
1) 潛在動作模型（Latent Action Model ，LAM），用於推理每對幀之間的潛在動作 𝒂；
2) 影片分詞器（Tokenizer），用於將原始影片幀轉換為離散 token 𝒛；
3) 動態模型，給定潛在動作和過去幀的 token，用來預測影片的下一幀。
具體而言：
潛在動作模型：為了實現可控的影片生成，谷歌將前一幀所採取的動作作為未來幀預測的條件。然而，此類動作標籤在網際網路的影片中可用的很少，並且獲取動作註釋的成本會很高。相反，谷歌以完全無監督的方式學習潛在動作（見圖 5）。
影片分詞器：在之前研究的基礎上，谷歌將影片壓縮為離散 token，以降低維度並實現更高質量的影片生成（見圖 6）。實現過程中，谷歌使用了 VQ-VAE，其將影片的 𝑇 幀作為輸入，從而為每個幀生成離散表示：
，其中𝐷 是離散潛在空間大小。分詞器在整個影片序列上使用標準的 VQ-VQAE 進行訓練。
動態模型：是一個僅解碼器的 MaskGIT transformer（圖 7）。
Genie 的推理過程如下所示
實驗結果
擴充套件結果
為了研究模型的擴充套件行為，谷歌對引數量為 2.7B 到 41M 的模型進行了實驗來探討模型大小和批大小的影響，實驗結果如下圖 9 所示。
可以觀察到，模型大小增加，最終訓練損失會減少。這有力地表明 Genie 方法受益於擴充套件。同時，增加批大小也會給模型效能帶來增益。
定性結果
谷歌展示了在 Platformers 資料集上訓練的 Genie 11B 引數模型和在 Robotics 資料集上訓練的較小模型的定性實驗結果。結果表明，Genie 模型可以生成跨不同領域的高質量、可控影片。值得注意的是，谷歌僅使用分佈外（OOD）影像 prompt 來定性評估其平臺訓練模型，這表明 Genie 方法的穩健性和大規模資料訓練的價值。
智慧體訓練。或許有一天，Genie 可以被用作訓練多工智慧體的基礎世界模型。在圖 14 中，作者展示了該模型已經可以用於在給定起始幀的全新 RL 環境中生成不同的軌跡。
作者在程式生成的 2D 平臺遊戲環境 CoinRun 中進行評估，並與能夠訪問專家操作作為上限的預言機行為克隆 (BC) 模型進行比較。
消融研究。選擇在設計潛在動作模型時，作者仔細考慮了要使用的輸入型別。雖然最終選擇使用原始影像（畫素），但作者在設計 Genie 時針對使用標記化影像的替代方案（在圖 5 中用 z 替換 x）來評估這一選擇。這種替代方法稱為「token 輸入」模型（參見表 2）。
分詞器架構消融。作者比較了三種分詞器選擇的效能，包括 1)（僅空間）ViT、2）（時空）ST-ViViT 和 3）（時空）CViViT（表 3）。