在機器學習社群中，ICLR （國際學習表徵會議）是較為「年輕」的學術會議，它由深度學習巨頭、圖靈獎獲得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牽頭舉辦。但 ICLR 很快就獲得了研究者的廣泛認可，並且在 AI 圈擁有了深度學習會議「無冕之王」的稱號。
目前，ICLR 與 ICML、NeurIPS 並稱為機器學習領域難度最大，水平最高的會議。從影響力上看，ICLR 長期處於 Google Scholar 全球所有學科中期刊、頂會的前十名。
今年，ICLR 已經來到了第十二屆。5 月 7 日，ICLR 2024 在奧地利維也納會展中心開幕。
或許是受到大模型技術浪潮的推動，無論是參會人數、論文提交量還是現場參會規模，ICLR 2024 的熱度相比往年均有極大的提升。
從深度學習的興起，到生成式 AI 帶來的新一波浪潮，ICLR 算是見證了人工智慧領域十多年來的發展史。在這個過程中，ICLR 也從第一屆只有二十幾篇接收論文的小型會議成長為投稿量超過七千的頂會。
歷屆 ICLR 論文資料圖。圖源：https://papercopilot.com/statistics/iclr-statistics/
大會首日的開幕式公佈了 ICLR 2024 的一些資料和獎項：比如，在走過第一個十年後，ICLR 迎來了自己的首屆時間檢驗獎，獲獎研究《Auto-Encoding Variational Bayes》（VAE）對於今天深度學習和生成模型領域影響深遠。
值得關注的是，本次大會上共有七場受邀演講，Meta、谷歌等科技巨頭悉數在列。
其中一場特邀演講來自中國的 GLM 大模型團隊，主題為《The ChatGLM's Road to AGI》。這也是國內鮮有的，大模型相關 Keynote 登上全球學術頂會的講臺。
大模型時代，AGI 會加速到來嗎？
在演講中，GLM 大模型團隊回顧了近年來語言模型領域的技術演進與方向碰撞。
大模型技術顯著提升了 AI 在各種任務上的表現，例如自然語言理解和文字生成、影像處理、多模態建模，催生了大眾對 AGI 的真切期待。從技術上說，這些神奇能力與模型的「智慧湧現」分不開，而「湧現」的底層邏輯是「Scaling Law」。
Open AI 的 Jason Wei 2022 年在谷歌工作期間，與 Jeff Dean 等人共同撰寫了關於大模型湧現能力的論文，揭示了重要結論：當模型較小時，效能是隨機的，一旦模型規模到達一定閾值，效能就會顯著超越隨機。一般來說，模型越大，能力越強。
對於這種由量變引起的質變現象，人們稱之為「湧現（emergence）」。如果「湧現」是真實存在的，那麼 AGI 的實現可以依靠模型體量的增加而逼近。
但史丹佛團隊的一項研究卻提出了相反的觀點：大模型能力是否湧現與任務的評價指標強相關，並非模型行為在特定任務和規模下的基本變化，換一些更連續、平滑的指標後，湧現現象就不那麼明顯了，而是更接近線性。
「它有連續性，但沒有能力湧現。」這項具有警示性的研究還獲得了 NeurIPS 2023 最佳論文獎。
論文連結：https://arxiv.org/pdf/2304.15004.pdf
目前，學術界對上述命題仍然存在爭論。不過，GLM 大模型團隊今年 3 月的一篇論文從預訓練損失的角度重新討論了模型湧現能力 —— 只有當預訓練損失低於某個閾值時，模型才具有該能力。這為此後的研究提供了新的視角：Loss 才是湧現的關鍵，而非模型引數。
論文地址：https://arxiv.org/pdf/2403.15796.pdf
在近來的大模型浪潮中，GLM 大模型團隊備受關注。去年 6 月，在科技媒體 The Information 的盤點中，GLM 大模型團隊所屬的智譜 AI，被視為最有可能成為「中國 OpenAI」的 5 家企業之一。
從 GLM 大模型團隊的下一階段目標中可以看出，除了「湧現」命題，GLM 大模型團隊對於通往 AGI 的路徑還有很多思考。
GLM 大模型團隊表示，文字仍然是最關鍵的基礎，而下一步應該把文字、影像、影片、音訊等多種模態混合在一起訓練，變成一個真正原生的多模態模型，然後還可以開發面向現實任務的虛擬助理，甚至是以大模型為中心的通用計算系統。
在這一設想中，通用計算系統可基於已有的 All-Tools 能力，再加上記憶體記憶 memory 和自我反饋 self-reflection 能力，模仿人類的 PDCA 機制，即 Plan-Do-Check-Act 迴圈，最終實現自我提升。
與此同時，如何大模型擁有人類的「無意識」學習機制，也是 GLM 大模型團隊在探索的方向。
「最有希望成為中國 OpenAI」的團隊，如何瞄準 AGI？
自 2019 年成立以來，GLM 大模型團隊便開始了大語言模型的探索，並選擇走開閉源並存的發展路線。
在整體佈局上，GLM 大模型團隊已經完成了全面對標 OpenAI，從基座模型到對話、文生圖、程式碼、檢索增強和視覺模型，包括 GLM、ChatGLM、CogView、CodeGeeX、WebGLM 以及 GLM-4V。這些模型的預訓練過程中少不了針對中文語料的大量最佳化，這也是國產大模型發揮本土化優勢的關鍵。
GLM 大模型團隊在 2020 年後開始顯現成果。從研發 GLM 預訓練架構、到訓練完成百億引數的 GLM-10B、再到 2022 年千億引數超大規模預訓練模型 GLM-130B 的誕生，他們開始圍繞這一強大的基座模型持續深拓。
2023 年 3 月，與 GPT-4 同一時間，GLM 大模型團隊推出了基於千億基座模型的對話模型 ChatGLM，理解使用者、遵循指令、回答問題的效果顯著提升。同時選擇開源中英雙語對話模型 ChatGLM-6B，實現單張消費級顯示卡上的本地部署。隨後的 6 月和 10 月，GLM 大模型團隊又迎來第二代和第三代 ChatGLM，保持三到四個月一次的模型迭代頻率。
隨著今年初新一代基座大模型 GLM-4 的到來，GLM 系列模型實現了效能比肩 GPT-4，自然語言、多模態、Agent 能力全方位提升的同時推理速度更快、成本更低。
目前，GLM 系列大模型的研究成果已經涵蓋了數學、文生圖、影像理解、視覺 UI 理解、Agent 等領域。以 ChatGLM-Math 為例，該模型透過獨特的「Self-Critique」迭代訓練方法和自我反饋機制，實現了 LLM 的數學能力的進一步強化。
論文地址：https://arxiv.org/pdf/2404.02893
與此同時，CogView 文生圖模型、CodeGeeX 程式碼模型、CogVLM 多模態理解模型、GLM-4V 多模態大模型和 All-Tools 功能以及 AI 助手智譜清言也在持續進步，比如基於 CogVLM 開發的具有視覺 Agent 能力的模型 CogAgent、更快更精細的文生圖模型 CogView3、讓多模態模型具有操作鏈的通用視覺語言模型 CogCoM。
快速迭代的大模型能力，讓研究者們更加期待 GLM 大模型團隊未來的進一步動作。在演講中，GLM 大模型團隊深入解讀了 GLM 系列大模型下一階段面向 AGI 的三個探索方向。
第一，GLM-4 的後續升級版本，即 GLM-4.5 及其升級模型，它們將基於超級認知 SuperIntelligence 和超級對齊 SuperAlignment 技術打造。
在持續提升文字能力的基礎上，GLM 大模型團隊計劃將文字、影像、影片、音訊等多種模態混合在一起訓練，構建真正原生的多模態模型，同時超級對齊 SuperAlignment 技術協助將提升大模型的安全性。
第二，提出 GLM-OS 概念，即以大模型為中心的通用計算系統，旨在解決更加複雜的問題。
在 ICLR 現場，GLM 大模型團隊詳細闡述了 GLM-OS 的實現方式：基於已有 All-Tools 能力加上記憶體記憶 memory 和自我反饋 self-reflection 機制，GLM-OS 有望實現模仿人類的 Plan-Do-Check-Act 迴圈。首先做出計劃，然後初步嘗試形成反饋，基於反饋結果調整規劃，然後再行動以期達到更好的效果。大模型依靠 PDCA 迴圈機制形成自我反饋和自我提升 —— 恰如人類自己所做的一樣。
第三，GLM 大模型團隊在現場首次公開了名為「GLM-zero」的技術專案。
這一專案是在 2019 年開展的，旨在研究人類的「無意識」學習機制。該機制是人類認知能力的重要組成部分，包括自我學習 self-instruct、自我反思 self-reflection 和自我批評 self-critics。
「當人在睡覺的時候，大腦依然在無意識地學習。」GLM 大模型團隊表示，人腦中存在著反饋 feedback 和決策 decision-making 兩個系統，分別對應著大模型和記憶體記憶兩大部分，GLM-zero 的相關研究將進一步擴充人類對意識、知識、學習行為的理解。
GLM 大模型團隊認為，儘管還處於非常早期的研究階段，但 GLM-zero 可以視為通向 AGI 的必經之路。