超10秒高解析度，北大Open Sora影片生成更強了，還支援華為晶片

机器之心發表於2024-04-08
Sora晶片
北大團隊聯合兔展發起的 Sora 復現計劃，現在有了新成果。

OpenAI 在今年年初扔出一項重大研究，Sora 將影片生成帶入一個新的高度，很多人表示，現在的 OpenAI 一出手就是王炸。然而，眾多周知的是，OpenAI 一向並不 Open，關於 Sora 的更多細節我們無從得知。誰能率先發布類 Sora 研究成了一個熱門話題。

今年 3 月初，北大團隊聯合兔展啟動了 Sora 復現計劃 ——Open Sora Plan，該專案希望透過開源社群的力量復現 Sora。
圖片
專案上線一個月，星標量已經達到 6.6k。
圖片
  • 專案地址：https://github.com/PKU-YuanGroup/Open-Sora-Plan
  • 技術報告：https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.0.0.md

現在這個專案終於有了新成果，Open-Sora-Plan v1.0.0 來了，新研究顯著增強了影片生成的質量以及對文字的控制能力。研究者表示，他們正在訓練更高解析度（>1024）以及更長時間（>10s）的影片。目前該專案已支援國產 AI 晶片（華為昇騰 910b）進行推理，下一步將支援國產算力訓練。

專案作者林彬表示：Open-Sora-Plan v1.0.0 可以生成1024×1024解析度影片，也能生成10 秒、24 FPS 的高畫質影片。而且它還能夠生成高解析度影像。
圖片
下面我們看一下 v1.0.0 的效果（為了展示，動圖進行了一些壓縮，會損失一些質量）。

文字到影片生成

提示：海上的日落。超10秒高解析度，北大Open Sora影片生成更強了，還支援華為晶片提示：黎明時分，寧靜的海灘，海浪輕輕拍打著海岸，天空被塗上柔和的色調...... 超10秒高解析度，北大Open Sora影片生成更強了，還支援華為晶片
提示：沿海景觀從日出到黃昏過渡的延時拍攝……

圖片

文字到影片生成的更多效果展示：超10秒高解析度，北大Open Sora影片生成更強了，還支援華為晶片
文字到影像生成（512×512 ）
圖片
影片重建（720×1280）超10秒高解析度，北大Open Sora影片生成更強了，還支援華為晶片超10秒高解析度，北大Open Sora影片生成更強了，還支援華為晶片
影像重建（1536×1024）：
圖片
在實現細節方面，透過團隊放出的技術報告，我們得知模型架構 CausalVideoVAE 概覽圖如下所示：
圖片
CausalVideoVAE 架構繼承自 Stable-Diffusion Image VAE。為了保證 Image VAE 的預訓練權重能夠無縫應用到 Video VAE 中，模型結構設計如下：

CausalConv3D：將 Conv2D 轉換為 CausalConv3D，可以實現影像和影片資料的聯合訓練。CausalConv3D 對第一幀進行特殊處理，因為它無法訪問後續幀。

初始化：Conv2D 擴充套件到 Conv3D 常用的方法有兩種：平均初始化和中心初始化。但本文采用了特定的初始化方法 tail 初始化。這種初始化方法確保模型無需任何訓練就能夠直接重建影像，甚至影片。

訓練細節：
圖片
上圖展示了 17×256×256 下兩種不同初始化方法的損失曲線。黃色曲線代表使用 tail init 損失，而藍色曲線對應中心初始化損失。如圖所示，tail 初始化在損失曲線上表現出更好的效能。此外，該研究發現中心初始化會導致錯誤累積，導致在長時間內崩潰。

訓練擴散模型。與之前的工作類似，該研究採用了多階段級聯訓練方法，總共消耗了 2048 A800 GPU 小時。研究發現，影像聯合訓練顯著加速了模型收斂並增強了視覺感知，這與 Latte 的研究結果一致。
圖片
不過，目前釋出的 CausalVideoVAE（v1.0.0）有兩個主要缺點：運動模糊和網格效果。團隊正在改進這些缺點，後續版本很快就會上線。

最後附上團隊完整名單：

圖片

相關文章