「還離這世界上最棒的地兒不遠。」
最新訊息，DenseNet 作者之一劉壯將於 2025 年 9 月加盟普林斯頓大學，擔任電腦科學系助理教授一職。
劉壯主導了 DenseNet 和 ConvNeXt 的開發，這兩款模型如今已成為深度學習和計算機視覺領域最主流的神經網路架構之一。
在正式踏入學術界之前，劉壯還會在 Meta AI Fair 繼續擔任研究科學家。因為普林斯頓大學離紐約不遠的，劉壯在官宣新去向後，還曬了張地圖：「我離這世界上最棒的地兒不遠。」
田淵棟等各路大佬第一時間齊刷刷地送上了祝福：
在 AI 技術骨幹紛紛離職單飛，投入 AI 創業大軍的時候，擁抱學術界的選擇似乎並不多見。
大三就提出了 DenseNet
2013 年，劉壯以安徽省理科高考第一名的成績，考進了清華大學電腦科學實驗班（姚班）。大三期間，在康奈爾大學訪學的劉壯與黃高合作了 DenseNet，這篇論文後來成為了 CVPR 2017 的最佳論文。
在 CVPR 還沒「通貨膨脹」的時代，突破了傳統深度網路的單向直鏈結構的 DenseNet 在 CV 圈掀起了一陣熱潮。
論文連結：https://arxiv.org/pdf/1608.06993
DenseNet 透過將前面所有層與後面的層進行密集連線，實現了特徵重用，不僅緩解了隨著網路深度增加產生的梯度消失現象，也能讓網路以更少的引數和計算量實現更優的效能。
DenseNet網路結構
在學術界，DenseNet 被圖靈獎得主 Yann LeCun 與 VGG、GoogleNet、ResNet 並列為當代四種主流深度網路。至今，DenseNet 的論文引用量超過 4.8 萬次，成為了教科書上的範本。
2017 年，從清華畢業後，劉壯前往加州大學伯克利分校深造博士學位，拜入 Trevor Darrell 教授門下，和賈揚清成為了同門師兄弟。讀博期間，劉壯筆耕不輟，入選頂會的論文源源不斷，其中不少還獲選 Spotlight。
博士畢業後，劉壯進入 Meta AI Research 工作。在此之前，他曾在康奈爾大學、英特爾實驗室、Adobe Research 和 FAIR 擔任訪問研究員 / 實習生。
在 Meta 實習期間，劉壯和謝賽寧合作，發表了 ConvNeXt，這是一篇「make CNN great again」的代表性工作。
論文連結：https://arxiv.org/pdf/2201.03545
自從 ViT 提出，視覺識別開啟了「咆哮的 20 年代」，基於 Transformer 的模型在計算機視覺的各個領域開始全面超越 CNN。然而，這種混合方法的有效性在很大程度上仍歸功於 Transformer 的內在優勢，而不是卷積固有的歸納偏置。
那麼，純 ConvNet 的極限在哪裡？能否設計一個純 CNN 模型，讓它實現和基於 Transformer 的視覺模型同樣的效果呢？
劉壯及其研究團隊參考了 Swin Transformer，基於標準 ResNet，升級出了 ConvNeXt。無論在影像分類還是檢測分割任務上，ConvNeXt 均超過了 Swin Transformer，同時還能保持標準 ConvNet 的簡單性和有效性。
入職 Meta 後，劉壯似乎更加高產，對資料集以及（多模態）大型語言模型也產生了研究興趣。
近期，他和何愷明關於資料集偏差的研究也引發了廣泛關注。
論文連結：https://arxiv.org/abs/2403.08632
論文的結論指出：雖然業界為構建更多樣化、更全面的資料集付出了諸多努力，但神經網路似乎越來越善於「過擬合」到特定的資料集上，也就是說，AI 更加擅長用一種「模板答案」來套不同的資料集中的題目了。
正如劉壯在主頁所說：「我的研究經常挑戰現有的觀念（例如，架構、資料集、剪枝、訓練）」。未來在學術界，劉壯將會在哪些方向上發出新挑戰，讓我們拭目以待。
參考連結：
https://x.com/liuzhuang1234/status/1847019331122876928
https://liuzhuang13.github.io/