編輯 | ScienceAI
2024 年對於 AI for Science 而言,可謂碩果累累:兩個諾貝爾獎再度聚焦人工智慧與科學的先驅性結合。
其一是諾貝爾化學獎,頒發給了在蛋白質設計與蛋白質結構預測領域做出開創性貢獻的 David Baker 博士、John Jumper 博士以及Demis Hassabis 博士;其二是諾貝爾物理學獎,授予了 John J. Hopfield 博士與 Geoffrey Hinton 博士,以表彰他們在人工神經網路及其機學習核心原理方面的奠基性工作。
諾獎頒獎典禮上的演講影片亦已公開,與大眾共同見證了 AI 與科學交融所開拓的全新時代。這些殊榮所代表的,不僅是對過去卓越成果的致敬,更是對未來諸多未知前沿的探索預告。
回顧整個 2024 年,AI for Science 領域在不同學科交織下展現出一系列引人矚目的新趨勢。以下將重點梳理其中幾大主要主題。
一、神經網路的「縮放定律」(Neural Scaling Laws)
首當其衝的是「神經網路縮放定律」的興起。這一概念旨在揭示:當模型規模、引數量以及計算量作不同程度的擴充套件或縮減時,神經網路效能如何隨之變化。
縮放定律在大語言模型(LLM)的訓練中尤其顯著:2024 年裡,不僅商業界(如 GPT-4o、Claude-3.5-Sonnet)紛紛推出更大引數量的新模型,開源社群也迎來了 Llama-3.1–140B 等超大引數版本。這些新模型在表現上均優於其前代產品,充分彰顯了引數規模擴張所帶來的效能飛躍。
在今年九月,OpenAI 推出了 GPT-o1-preview,再次為推理(inference)階段的規模化注入新思路:他們在測試階段提升了計算資源投入,令模型在攻克高難度數學題目等複雜任務上表現卓然。
雖尚未披露具體技術細節,Hugging Face 的團隊已獨立開發出類似方案,並在 MATH-500 基準測試中令小引數模型(如 1B 與 3B 規模的 Llama Instruct 模型)勝過更大型號(如 8B 與 70B 模型)。這印證了「測試階段擴大資源投入」這一思路的潛能,也為業界帶來更多啟發。
令人驚喜的是,類似的縮放規律也在科學應用中出現。例如在蛋白摺疊領域,名為 ESM Cambrian 的模型在 CASP15 競賽上展現了「近似冪律」般的效能提升,其水平甚至超越了同期大多數模型,進一步佐證縮放定律在 AI 與科學交匯處的普適性。
二、原子級生物大分子結構預測
在結構生物學領域,AlphaFold3 的橫空出世無疑是今年最耀眼的進展之一。新版不僅能預測蛋白質單體結構,更可精準模擬包含核苷酸、小分子以及離子在內的複雜體系,達到此前專用模型難以企及的準確度。
伴隨著 AlphaFold 大家族不斷攀升的影響力,相關資料庫也在快速擴容:由倫敦大學學院(UCL)帶頭建立的「The Encyclopedia of Domains」(TED)即源於 AlphaFold 資料庫(AFDB),透過分析海量蛋白質結構,TED 已發現逾萬種此前未被記錄的結構互作關係,併為蛋白摺疊空間譜系圖增添了數千種新摺疊形式。這些發現再次表明,蛋白質結構世界仍有廣闊未知等待我們發掘。
儘管 AlphaFold 對各類生物醫學研究推動甚大,其在實際藥物設計中的效用仍有爭議。加州大學舊金山分校的一項研究表明:將實驗測得的真實蛋白結構與AlphaFold 所預測的模型同時用於對接模擬時,兩者雖擁有相近的「命中率」,但鑑定到的配體幾乎無重疊之處。然而,這種差異或許意味著 AlphaFold 提供了另一種真實而未被充分利用的蛋白質構象,有望擴充基於結構的藥物篩選邊界。
在激烈的競爭氛圍下,類似 Chai-1、NeuralPLexer3 及 Boltz-1 等新模型於今年九月至十一月間相繼問世,並宣稱具備媲美 AlphaFold3 的效能。它們能否在製藥工業中掀起變革,尚需時間驗證。這些後起之秀的出現,昭示著以原子級精準度為目標的生物分子結構預測方興未艾,也為下一代計算機輔助藥物設計奠定了堅實基礎。
三、「非等變」神經架構(Non-equivariant Neural Architecture)
值得關注的是,AlphaFold3 在其網路設計中棄用了等變(equivariant)架構,這一做法在學界和工業界引起了廣泛熱議:神經網路在建模物理對稱性時,究竟需不需要顯式保留等變性?分歧不僅停留在結構生物學領域,也在分子模擬(molecular simulation)社群再次浮現。
一方面,近期刊登於《Nature》的大規模分子模擬工作,表明神經網路勢能函式(NNIP)已能精確捕捉量子級相互作用,為化學、材料與生物物理等多領域帶來前所未有的求解能力。
另一方面,「苦澀教訓」(the 「bitter lesson」)在此領域再次得到印證:相比於依賴精心設計特徵或嚴格物理對稱性的模型,那些以大規模計算和資料為驅動的通用網路往往後勁更足。
加州大學伯克利分校的一項研究便顯示,減少對物理對稱性的顯式嵌入後,架構在推理速度和準確度上均能勝過許多基於對稱性的模型,再度呼應了在諸多 AI 應用中一再出現的規律:只要資料和算力足夠,通用化網路也能自發學習出有效的表示。
這並不表示領域知識和對稱性毫無價值,而是提示著一個更微妙的平衡:顯式地嵌入物理先驗,有時不如留給模型更多靈活度來「自學成才」。最近的研究顯示,非等變模型若輔以充分的資料增廣與算力投入,或可與等變模型之間的效能差距越拉越小。然而,研究還指出,在同等計算預算下,等變架構在諸多場景下仍然佔據優勢,且這一差距呈可預測的「縮放規律」。
更有趣的是,兩類模型在尋求最佳算力分配(平衡準確度與推理效率)時會側重不同的策略。隨著對分子動力學在長期尺度上的模擬需求不斷上升,如何在效率與可擴充套件性之間做出合理取捨,必將成為今後分子科學領域的重要議題。
四、大語言模型(Large Language Models)
過去一年,大語言模型憑藉日漸增強的推理能力與互動形式,一直吸引著科研工作者的目光。其中最矚目的當屬其在數學領域的應用:DeepMind 的 AlphaProof 與 AlphaGeometry2 正是這方面的典型案例。
AlphaProof 結合了大語言模型與 AlphaZero 的強化學習框架,可攻克國際數學奧林匹克(IMO)中的代數與數論難題;升級版 AlphaGeometry2 在幾何題上效率提高兩個量級,IMO的解題成功率也從 53% 攀升至 83%。
二者合力更在 IMO 2024 上取得了相當於銀牌的成績(據官方部落格所述),不僅彰顯了 AI 在數學領域的潛力,也為未來「機器數學家」指明瞭新方向。
與之呼應,Meta 亦在數學領域發力:其新模型針對動力系統全域性穩定性中的李雅普諾夫函式(Lyapunov functions)推導問題給出瞭解決思路。
該問題在控制理論與天體力學中舉足輕重,而 Meta 的模型透過為多項式系統生成隨機解,並利用序列到序列(sequence-to-sequence)Transformer 進行訓練,最終在演算法求解器和人類專家都望而生畏的領域取得了突破,併成功擴充到缺乏演算法解的非多項式系統上。
在其他科學方向,大語言模型同樣大放異彩。OpenAI 利用強化學習與微調技術,開發出專門用於罕見病基因發現的模型,展現了在稀缺資料場景中的出色適應力,隱含了大語言模型在基因組學與精準醫療方向的廣闊前景。
另一個例子是 MOLLEO:該模型可甄別高活性分子,效能超越先前各類先進演算法,這從側面證明了大語言模型對化學知識擁有潛在記憶與表徵能力,並能透過搜尋與取樣有效釋放出來。
總體而言,大語言模型在科學領域的飛躍,已為生成假設、綜合知識與破解複雜難題提供了全新引擎。
五、科學領域的「基礎模型」(Scientific Foundation Models)
與語言模型的發展異曲同工,科學領域也在逐漸形成「基礎模型」(Foundation Models)之勢:它們在生物、物理、化學乃至跨學科中均被視為下一代驅動創新的基石。
EvolutionaryScale 推出了 ESM3,一款面向蛋白質語言的大模型,成功在自然進化未曾涉足的區域設計出功能性蛋白——其中最具代表性的是一個全新綠色熒光蛋白,與任何已知天然蛋白均無直接同源性。
在細胞水平建模上,Virtual Cell Initiative 則著力打造面向細胞過程的 AI 基礎模型(如 scGPT、UCE 等),透過高度細化的計算模擬,探尋疾病機理與細胞行為。
更進一步的,是 GenBio AI 團隊提出的 AIDO(AI-Driven Digital Organism)——一個跨越分子、細胞、組織乃至器官層面的整體模型。AIDO 將多種尺度的生物學資訊進行整合,朝著更完備的數字生物系統邁進,也為基礎與轉化研究提供了全新路徑。
除了生命科學,在物理領域,PolymathicAI 陸續釋出了多組資料集,致力於構建跨學科的物理動力學基礎模型;在氣候科學領域,Aurora 與 GenCast 等模型也不斷推陳出新,為地球氣候預測與研究注入新動能。
六、小分子藥物研發
過去一年,小分子藥物設計領域同樣取得了諸多進展——尤其在「可合成性(synthesizability)」這一關鍵環節上,業界與學界都在加速彌合計算設計與實驗落地的鴻溝。
為確保生成的小分子不僅功能優異,還能在實驗室順利合成,最新思路是「合成優先」:直接在搜尋和設計階段就優先考慮可行的合成路徑。
史丹佛大學的 SyntheMol 便是這一思路的先行者:它採用蒙特卡洛樹搜尋演算法(Monte Carlo Tree Search)於合成路徑的廣闊空間中「漫遊」,最終發現可抑制革蘭氏陰性菌 Acinetobacter baumannii 生長的分子先導化合物。在深度學習端,GFlowNet 等方法也在大規模的反應網路與分子庫中探索合成友好的化學空間,展現出敏捷而高效的搜尋能力。
不僅如此,「分子投影」(molecular 「projection」)技術也在近年嶄露頭角。ChemProjector 就是此領域的代表:它能夠將一個可能在現實中難以合成的虛擬分子,投影到一個擁有相似核心特徵、卻更易合成的「可行」版本上。此舉既可修正原本難以落地的候選分子,也能基於已知先導化合物的「鄰域化合物」進行系統性擴充。
另一個範例是SynFormer:透過多模態生成的方式,它能夠覆蓋 Enamine REAL 庫的絕大部分化學空間。更難得的是,SynFormer 提出了可「模組化」整合到任何非受限分子生成流程中的新方法,確保設計產物保持可合成性。在此基礎上,研究人員進一步將 SynFormer 與傳統的遺傳演算法結合,證明該管線不僅令生成分子保持可合成優勢,甚至還能提升整體最佳化效率。
七、量子化學
在量子化學領域,Pfau 及其合作者在2024年帶來的突破性進展,或許可謂「登峰造極」。
他們提出的自然激發態變分蒙特卡洛(NES-VMC)方法,利用神經網路的高靈活度,並透過巧妙的數學變換,將激發態計算歸結為針對「擴充套件體系」的基態問題,從而在計算傳統上最棘手的激發態時取得了驚豔的準確度。
該方法在從簡單原子到苯分子等複雜體系中都能保持對化學精度的逼近,尤其在多重激發、低激發能級的體系(如對丁二烯的爭議性激發態順序)上也得到了令人信服的結果。
這項工作對於研究物質與光的相互作用意義重大,潛在應用更是無遠弗屆:從光催化、太陽能電池、發光二極體到量子點技術,都將因更精準的激發態預測而受益。NES-VMC 的出現,標誌著人類在理解與模擬光物質相互作用領域又邁進一大步,為下一代能源與光電材料的設計提供了堅實的理論基石。
八、AI-for-Science 領域初創企業:生物醫藥與材料科學的崛起
2024 年對 AI-for-science 生態系統中的初創企業而言同樣具有顛覆性意義,尤其在生物科技,以及方興未艾的化學與材料科學領域。
在生物技術與製藥方向,多家企業迎來了重大里程碑。晶泰科技XtalPi在港股功上市,市值高達25億美元;Terray Therapeutics 和 Lambic Therapeutics 等公司也完成了可觀的融資輪次,並在各自的藥物管線中取得實質性進展。
最令人矚目的是 Isomorphic Labs——這家源自 Google DeepMind 的衍生公司宣佈與禮來(Eli Lilly)和諾華(Novartis)達成戰略合作,光是預付款就高達 8250 萬美元,總合同規模或可達到 30 億美元(不含後續專利費),充分說明即便是久經沙場的巨頭也對這些專精AI模型的商業價值給予了高度認可 。
與此同時,在化學與材料科學領域,新的初創企業也開始嶄露頭角。Orbital Materials 與 DP Technology 先後釋出了旨在加速分子動力學模擬的預訓練機器學習勢能模型——Orb與DPA-2,兼具更高精準度與更快速度。
Radical AI、深度原理 Deep Principle、CuspAI 以及 Entalpic 等年輕公司也成功完成了種子輪融資,並紛紛提出了意圖重塑化學與材料發現在內的雄心規劃。雖然它們對行業的長期影響有待時間檢驗,但這一批初創企業的出現,標誌著 AI 驅動創新在這些新興領域中已然開啟新的篇章。
當 2024 年緩緩落下帷幕,AI 與科學的深度交融已經在多個前沿領域裡開花結果。諾獎的殊榮固然高光,但更加扣人心絃的,是那些仍未解的難題與方興未艾的新思路。
無論是神經網路的「縮放定律」,還是非等變架構在物理對稱性中的取捨,抑或是 LLM 在數學與精準醫療上的嶄新嘗試,以及新興初創企業在生物醫藥與材料科學領域的群雄逐鹿,都生動詮釋了 AI 正如何不斷擴充科學發現的邊界。
展望未來,我們有理由相信,這場從分子到宇宙的智慧革命,尚在序章,而它所奏響的樂章,定將愈發雄渾。
本文章由 AI for Science 研討會系列的多位組織者共同撰寫:Sherry Lixue Cheng, Yuanqi Du, Chenru Duan, Tianfan Fu, Wenhao Gao, Kexin Huang, Ziming Liu, Di Luo and Shitong Luo(按字母順序排列)