教授何愷明在MIT的第二門課——《深度生成模型》，講座PPT陸續已出

机器之心發表於2024-11-10
MIT模型
又有機會跟著大神學習了！

今年 2 月起，何愷明已經開始了自己在 MIT 的副教授職業生涯，並在 3 月 7 日走上講臺完成了「人生中教的第一堂課」。
圖片
近日，我們發現了何愷明的第二門課程《深度生成模型》（6.S978: Deep Generative Models），已經於 9 月初開始了授課。
圖片圖片
在何愷明擔任講師之外，MIT CSAIL 計算設計與製造團隊（Computational Design & Fabrication Group）的四年級博士生 Minghao Guo 擔任助教。
圖片
這門課程被熱心網友推薦給準備教授計算機視覺與深度學習的人作為參考。
圖片
網友感慨何愷明是殘差網路（ResNet）的發明者，非常厲害。不過能具備這門課程先修知識的人應該很少。看來，課程的難度較高，需要較為紮實的學習背景。
圖片
課程概覽

據介紹，這是一門研討會課程，目標受眾是正在進行（或計劃進行）深度生成模型研究的研究生（graduate）。

課程介紹了深度生成模型的概念、原理和應用，主要涵蓋了計算機視覺（如影像、影片、幾何）和相關領域（如機器人技術、生物學、材料科學等）中的場景。課程側重於不同問題和學科之間共享的通用正規化和方法。

核心主題包括變分自編碼器、自迴歸模型、生成對抗網路、擴散模型及其應用，覆蓋了基礎框架和最新研究前沿。

課程分為講師講座、客座講座和學生研討會。學生研討會包括了論文閱讀、演示和討論。當然了，課程對學生的要求非常高，包括如下：

  • 參加所有講座和研討會

  • 每兩週完成一次習題集

  • 在研討會上發表一篇論文：20 分鐘演示 + 10 分鐘討論和 QA

  • 完成最終專案和專案演示

  • ……

課程共分為 15 周完成，除了第 1 周和最後一週，每週各有兩節課（分別為閱讀課和講座）。目前，課程已經進行到了第 10 周，主題分別如下：

  • Week 1：深度生成模型簡介

  • Week 2：建模影像先驗、變分自編碼器（VAE）

  • Week 3：歸一化流、自迴歸（AR）模型

  • Week 4：自迴歸（AR）模型、AR 和分詞器（tokenizer）

  • Week 5：AR 和擴散、生成對抗網路（GAN）

  • Week 6：擴散領域的 GAN

  • Week 7：基於能量的模型、分數匹配和擴散模型

  • Week 8：擴散模型、去噪後的擴散

  • Week 9：離散擴散、流匹配 1

  • Week 10：流匹配 2、CMU 助理教授朱儁彥講座《確保生成模型的資料所有權》（Ensuring Data Ownership in Generative Models）

其中前 5 期講座的 PPT 已經放出來了。
圖片 地址：https://mit-6s978.github.io/assets/pdfs/lec1_intro.pdf
圖片 地址：https://mit-6s978.github.io/assets/pdfs/lec2_vae.pdf
圖片 地址：https://mit-6s978.github.io/assets/pdfs/lec3_ar.pdf
圖片 地址：https://mit-6s978.github.io/assets/pdfs/lec4_gan.pdf
圖片 地址：https://mit-6s978.github.io/assets/pdfs/lec5_diffusion.pdf

更詳細的課程計劃參考下圖，接下來的主題將包括：影片、3D、幾何、機器人、材料科學、蛋白質和生物學等領域的應用。此外還有 OpenAI 戰略探索團隊負責人宋颺的講座《一致性模型》（Consistency Models）。
圖片
課程地址：https://mit-6s978.github.io/

相關文章