我們或許可以稱o3是「更高階的推理AI」，而遠不是AGI。
昨天凌晨，OpenAI 連續 12 天釋出會終於落下了帷幕，並甩出了最強大的推理模型 o3 系列！
當然，使用者現在想要體驗 o3 或者 o3-mini，需要申請並等待數週。從目前 OpenAI 官方給出的一些紙面資料來看，o3 的能力遠超以往任何推理模型，並在 ARC-AGI 基準上達到了優良水平，成為首個突破該基準的 AI 模型。其中，o3 系列模型最低可達到 75.7%，最高可達到 87.5%。
o3 系列模型如此強大的能力，激起了大家對 AGI 的熱烈談論，很多人都興奮地宣佈：這就是 AGI、AGI 已經實現、AGI 比你想象的更加接近。
圖源：X@treky_x
圖源：X@WesRothMoney
圖源：X@FinanceLancelot
面對關於 o3 愈演愈烈、愈加失控的炒作，知名博主、AI 研究者「elvis」認為，o3 系列不是 AGI、不是奇點，人們甚至無法訪問這些模型。連 OpenAI 都明確表示還有很多需要改進的地方。雖然進展的確令人興奮，但網路上誤導資訊太多，基準測試結果也並沒有多大意義。
圖源：X@omarsar0
有人表示，每次釋出新的 OpenAI 模型（這次是 o3），都會有人宣稱「AGI 來了」、「不再需要程式設計師了」等言論。雖然 o3 看起來令人印象深刻，但它遠沒有在現實世界中得到檢驗。AGI 仍然遙遙無期。
圖源：X@drjohnflackett
還有人說到，為什麼我們要在一個還無法體驗的演示版 AI 模型上宣佈「AGI」呢？雖然 o3 系列模型看起來很棒，但並不是一個正式釋出版本，也無法驗證。
圖源：X@mcguinnessfortx
持有這種觀點的人不在少數，有人覺得，o3 系列在編碼和數學領域的確很強，但 AGI 是要勝任人類能做的所有事情。我們要的是全能型人才，而非專業人才。另外，一次基準測試表現很好不能說明全部的情況，並不意味著能夠迎接其他不可預測的挑戰。最後，真正的 AGI 應該是適應性很強的，即使資源緊張也能執行。但 o3 的執行成本高得離譜，這顯然不是 AGI 的意義所在。
圖源：X@marthinusstryd1
顯然 o3 離跟 AGI 畫上等號還有很長的路要走，但無疑是一次巨大的進步。尤其是推理速度提升、成本降低且兼顧效能的 o3-mini，它更加經濟高效，並使用全新的安全評估方法審議式對齊（deliberative alignment）。
這是一種直接教模型安全規範的新正規化，訓練模型在回答之前明確回憶規範並準確執行推理。OpenAI 使用這種方法來對齊包括 o3-mini 在內的 o 系列模型 ，實現對 OpenAI 安全政策的高度精確遵守，並且這個過程無需人工編寫的思路或答案。
下圖 1 為包括 o3-mini 在內的 o 系列模型與 GPT-4o 在關鍵政策領域的比較結果，比如不允許的內容、遵守響應風格指南、越獄和過度拒絕等。
接下來，機器之心對該正規化相關論文的作者進行了完整的盤點。
論文地址：https://assets.ctfassets.net/kftzwdyauwt9/4pNYAZteAQXWtloDdANQ7L/978a6fd0a2ee268b2cb59637bd074cca/OpenAI_Deliberative-Alignment-Reasoning-Enables-Safer_Language-Models_122024.pdf
o3-mini 對齊正規化作者盤點
Melody Y. Guan
Melody Y. Guan 本碩均就讀於哈佛大學，目前是史丹佛大學電腦科學系的博士研究生。
在加入史丹佛大學之前，Melody Y. Guan 曾在谷歌擔任研究員。她與 OpenAI 的關係主要體現在她的研究工作上，她與 OpenAI 的研究人員合作發表了多篇論文。
Melody Y. Guan 的研究興趣主要集中在強化學習和神經架構搜尋等領域。她與 Google Brain 團隊合作，提出了著名的神經架構搜尋方法 ENAS（Efficient Neural Architecture Search via Parameter Sharing）。此外，她還發表了多篇關於機器學習和人工智慧的學術論文。
Manas Joglekar
Manas Joglekar 本科畢業於印度理工學院孟買分校，後於史丹佛大學讀博士。
博士期間，他曾先後在微軟、谷歌和 Facebook 進行實習，2016 年正式進入谷歌擔任高階軟體工程師，2019 年他擔任 Snorkel AI 創始工程師，負責領導機器學習基礎工作，2023 年 10 月加入 OpenAI。
Manas Joglekar 發表過多篇論文，主要研究方向包括電腦科學和機器學習。
Eric Wallace
Eric Wallace 是 OpenAI 的研究員，致力於使下一代大型語言模型（LLMs）更加安全、可靠和注重隱私。
他本科畢業於馬里蘭大學帕克分校電腦科學系，目前還在加州大學伯克利分校攻讀博士學位，研究方向是增強機器學習的安全性、隱私性和魯棒性。
在加入 OpenAI 之前，Eric Wallace 曾在 DeepMind 和 Meta 實習。
他在 OpenAI 的工作主要集中在提升大模型的安全性和隱私性，曾參與了 GPT-4o mini、o1、o1-mini 等安全和能力方面的研究。
Saachi Jain
Saachi Jain 是 OpenAI 的研究人員，她本碩畢業於史丹佛大學，目前在麻省理工學院（MIT）攻讀博士學位。
她的研究主要集中在構建更魯棒和可靠的機器學習模型，特別是理解模型如何進行泛化。
在加入 OpenAI 之前，Saachi Jain 曾在特斯拉擔任計算機視覺科學家，參與自動駕駛技術的視覺模型設計和訓練。她還在 Facebook 和 Google 等公司進行過實習。
在 OpenAI，她曾是 o1 專案的安全技術負責人之一，該專案旨在提高模型的推理能力和安全性。
Boaz Barak
Boaz Barak 是哈佛大學電腦科學教授。他是一位理論電腦科學家，研究領域包括計算複雜性、演算法、密碼學、量子計算以及機器學習的基礎。Boaz Barak 曾參與了 OpenAI o1 專案的安全研究工作。
Alec Heylar
他本科畢業於弗吉尼亞理工學院暨州立大學，曾在微軟度過 5 年職業生涯，2024 年 5 月進入 OpenAI 擔任研究員。
Alec Heyla 的專業技能涵蓋了人工智慧、大語言模型等多個領域。
Rachel Dias
Rachel Dias 本科畢業於美國芝加哥大學的政治學專業，曾在 Meta 擔任產品策略與運營，後來加入 TikTok 擔任政策實施經理。
2024 年 1 月進入 OpenAI, 是 OpenAI o1 模型的「準備評估」團隊成員之一。
Andrea Vallone
她在加州大學聖巴巴拉分校獲得了英語（B.A. English）和心理學（B.A. Psychology）的雙學士學位。
後來加入 Facebook 擔任產品和政策傳播經理、產品政策經理。2022 年 8 月加入 OpenAI 從事模型安全工作。
Hongyu Ren
Hongyu Ren 在去年 7 月加入，現在是 OpenAI 的一名研究科學家，他還是 GPT-4o 、GPT-4o mini 的核心貢獻者，並致力於 GPT-Next 的研究。Hongyu Ren 本科畢業於北京大學、博士畢業於史丹佛大學。此前，他在蘋果、谷歌、英偉達、微軟等工作過。
Jason Wei
AI 圈的人大概都很熟悉 Jason Wei，他本科畢業就加入谷歌（2020 到 2023 年在 Google Brain 擔任研究科學家），以一作身份寫出了「思維鏈」（CoT）的開山之作。2023 年 2 月加入 OpenAI，擔任 AI 研究人員。2024 年，他參與了 OpenAI o1 模型的研發。他的工作推廣了 CoT 提示、指令調整和智慧湧現等領域。
擴充套件閱讀：
本科畢業加入谷歌，還寫了「思維鏈」開山之作，這位 OpenAI 新秀正為本科生答疑解惑
CoT 提出者 Jason Wei：大模型評估基準的「七宗罪」
Hyung Won Chung
Hyung Won Chung 現在是 OpenAI 的一名研究科學家。研究重點是大型語言模型。在那之前，他在谷歌大腦工作，並在 MIT 攻讀博士學位。他也是 OpenAI o1 的核心貢獻者之一。
他曾參與過一些重要專案的研究工作，比如 5400 億引數的大型語言模型 PaLM 和 1760 億引數的開放式多語言語言模型 BLOOM。機器之心也曾介紹過他為一作的論文《Scaling Instruction-Finetuned Language Models》。
擴充套件閱讀：
OpenAI科學家最新大語言模型演講火了，洞見LLM成功的關鍵
Sam Toyer
Sam Toyer 本科畢業於澳大利亞國立大學，博士生就讀於加州大學伯克利分校。研究領域包括計算機視覺、規劃、模仿學習和獎勵學習。近期，我的研究重點是如何使大規模語言模型更加安全和魯棒，這些特性對於在高風險場景中的應用至關重要。以下是他的工作經歷：
Johannes Heidecke
Johannes Heidecke 是巴塞羅那的一名人工智慧碩士研究生，目前專注於探索強化學習和生成模型。
他對機器學習和人工智慧的研究充滿熱情，並參與了許多 OpenAI 的相關工作。
他相信人工智慧對人類未來具有巨大的潛力，但要讓先進的人工智慧系統與我們的價值觀和目標保持一致，還需要大量有針對性的工作和研究。
為此，他正在探索將機器學習應用於價值學習問題的方法：透過觀察人類行為，推斷他們的動機是什麼。
Alex Beutel
Alex Beutel 在卡內基梅隆大學獲得電腦科學博士學位，此前在杜克大學主修電腦科學和物理學。
他目前是 OpenAI 安全研究團隊的技術負責人。他曾在 Google Research 擔任高階員工研究科學家、技術負責人和經理，聯合領導了一個負責機器學習責任研究的團隊（Responsible ML team），並推動了涵蓋推薦系統、公平性、魯棒性、強化學習以及資料庫機器學習的研究工作。
Amelia Glaese
Amelia Glaese 本科就讀於慕尼黑工業大學，攻讀航天工程。在慕尼黑工業大學與佐治亞理工學院分別攻讀了機械工程以及電腦科學與工程碩士。曾任谷歌軟體工程師，後來加入 DeepMind 團隊，工作了四年多。在此期間，她參與了 Gemini 相關論文的釋出。今年 3 月，Amelia Glaese 正式加入 OpenAI。