未來大模型頂會?陳丹琦等人組織首屆COLM,為語言建模研究提供新平臺

机器之心發表於2023-10-18

獲得了眾多學術大牛的支援。

隨著 ChatGPT 的爆火,NLP、大模型領域已經是個「一天不看新聞就會落後」的地方。

雖然如今 AI 領域的頂級學術會議已經不少,但似乎也無法滿足大家投論文的速度了。

現在,一批知名的青年學者們,組織了一個名為 COLM(Conference on Language Modeling)的新會議。

COLM 是一個專注於語言建模研究的學術場所。在會議介紹中,組織這門十分明確地講述了他們的目的是建立一個具有不同科學專業知識的研究人員社群,專注於理解、改進和評論語言模型技術的發展。這不僅是學術界的一次創新嘗試,也是搭起了語言模型交流互鑑的新橋樑,進一步促進其探索和合作。

未來大模型頂會?陳丹琦等人組織首屆COLM,為語言建模研究提供新平臺

會議連線 https://colmweb.org/

組織者介紹

該會議的組織者們是 NLP 頭部科學家們,在語言建模研究有著相當成果的。他們其中既有來自業界的研究人員,也有來自學術界的研究人員。組織者共有七人,分別是 Yejin Choi、Denny Zhou、Dipanjan Das、陳丹琦、Yoav Artzi、Angela Fan、Alexander Rush。

未來大模型頂會?陳丹琦等人組織首屆COLM,為語言建模研究提供新平臺

而組織者中的 Denny Zhou、陳丹琦、Angela Fan 等人也是我們熟知的 AI 華人學者。

陳丹琦

未來大模型頂會?陳丹琦等人組織首屆COLM,為語言建模研究提供新平臺

陳丹琦是普林斯頓大學電腦科學的助理教授,也是普林斯頓 NLP 小組的共同負責人。本科就讀於清華大學,後獲得史丹佛大學電腦科學博士學位。陳丹琦憑藉其在自然語言處理領域取得的一系列成果,榮膺 2019 年《麻省理工科技評論》「35 歲以下科技創新 35 人」中國區得主,獲獎時年齡 29 歲。就在前些天,陳丹琦團隊提出 LLM-Shearing 大模型剪枝法。

Denny Zhou

未來大模型頂會?陳丹琦等人組織首屆COLM,為語言建模研究提供新平臺

Denny Zhou 是 Google DeepMind 的首席科學家 / 研究主管,他是推理團隊的創立者和現任負責人。主要研究興趣在於構建和教導大語言模型實現類人的推理能力。他領導的團隊已經開發了思維鏈提示、自洽性解碼、最少到最多提示、指令調優(FLAN2)、LLM 自我除錯等大語言模型的各種湧現屬性。Denny Zhou 曾獲得 2022 年穀歌研究技術影響力獎(Google Research Tech Impact Award)。

Angela Fan

未來大模型頂會?陳丹琦等人組織首屆COLM,為語言建模研究提供新平臺

Angela Fan 是 Meta AI Research Paris 的研究科學家,主要研究機器翻譯。此前她曾在南錫 INRIA 和巴黎 FAIR 攻讀博士學位,主要研究文字生成。在此之前,她是一名研究工程師,並在哈佛大學獲得了統計學學士學位。

會議投稿主題

組織者們為本次會議的投稿提供了廣泛而全面的主題

  • 對齊:微調、指令微調、強化學習(包括人工反饋)、提示調整和上下文對齊

  • 資料:預訓練資料、對齊資料和透過人工或演算法分析、整理和生成的合成資料

  • 評估:基準、模擬環境、可擴充套件監督、評估協議和指標、人工或機器評估

  • 社會影響:偏見、公平、濫用、就業、氣候變化等

  • 安全:安全、隱私、錯誤資訊、對抗性攻擊和防禦

  • LM 的科學性:擴充套件規律、基本限制、新興能力、解密、可解釋性、複雜性、訓練動態、學習理論

  • 高效計算 LM:蒸餾、壓縮、量化等

  • 大型 LM 的工程設計:不同硬體設定上的分散式訓練和推理、訓練動態、最佳化不穩定性

  • LM 的學習演算法:學習、元學習、模型混合法、持續學習等

  • LM 的推理演算法:解碼演算法、推理演算法、搜尋演算法、規劃演算法

  • 人類心智、大腦、哲學、法律與 LM:從認知科學、神經科學、語言學、心理語言學、哲學或法律角度看待 LM

  • 面向所有人的 LM:多語言、低資源語言、方言、多元文化、價值多元化

  • LM 與世界:事實性、檢索增強型 LM、知識模型、常識推理、心智理論、社會規範、語用學和世界模型

  • 具身 LM:感知、行動、機器人和多模態

  • LM 與互動:對話、互動學習和多人學習

  • LM 與工具和程式碼:與工具和 API 的整合、LM 驅動的軟體工程

  • 關於各種模式和新型應用的 LM:視覺 LM、程式碼 LM、數學 LM 等,特別鼓勵研究較少的模式或應用,如化學、醫學、教育、資料庫等

COLM 發表後,獲得了許多支援與期待。

未來大模型頂會?陳丹琦等人組織首屆COLM,為語言建模研究提供新平臺

未來大模型頂會?陳丹琦等人組織首屆COLM,為語言建模研究提供新平臺

未來大模型頂會?陳丹琦等人組織首屆COLM,為語言建模研究提供新平臺

與 ICLR 相似,COLM 也是領域中的創新會議,它們都有著知名學者們的傾力支援。除此之外,ICLR 採用的開放評審備受好評,並開公開透明之先河。COLM 投稿將採用雙盲稽核,並將使用開放評審的方式管理投稿。至於它是否能像 ICLR 一樣後來居上,就請拭目以待吧。

相關文章