奧特曼的激進策略，現在不受控制了？
沒有想到，OpenAI 在本週釋出 GPT-4o，技術再次大幅度領先之後，隨之迎來的卻是一系列壞訊息。
本週，OpenAI 聯合創始人、首席科學家 Ilya Sutskever 官宣離職，與 Ilya 同步宣佈離開的，還有超級對齊團隊的共同領導者 Jan Leike。
山姆・奧特曼、 Ilya Sutskever 和 Jan Leike。
Ilya 與 Jan 是 OpenAI 超級對齊團隊的領導者，該團隊的任務是確保人工智慧與其製造者的目標保持一致，而不是做出不可預測的行為並傷害人類。
另據《連線》等媒體報導，隨著最近兩位高管離職，OpenAI 的超級對齊團隊已被解散。本週五，Jan Leike 在 X 釋出了一系列帖子，怒斥 OpenAI 及其領導層忽視「安全」而偏愛「光鮮亮麗的產品」。
發生了什麼事？
實際上，自去年 11 月那場「董事會風波」以來，社交媒體上一直流傳著一個梗 ——Ilya 看到了什麼。人們猜測：「OpenAI 秘密地取得了巨大的技術突破，而 Ilya 之所以離開，是因為他看到了一些可怕的事情，比如可能毀滅人類的人工智慧系統。」
當然，這只是一種粗暴的猜測。OpenAI 頻繁失去安全團隊成員可能與奧特曼的領導有很大關係。據訊息人士透露，注重 AI 系統安全的員工已經對奧特曼的領導失去了信心。
據外媒 Vox 報導，一位不願透露姓名的公司內部人士表示：「這是一個信任一點一點崩潰的過程，就像多米諾骨牌一張一張倒下一樣。」
很少有員工願意公開談論此事。部分原因是 OpenAI 讓員工在離職時簽署帶有非貶低條款的離職協議。如果你拒絕簽署，你就放棄了你在該公司的股權，這意味著你可能會損失數百萬美元。
然而，總有例外。OpenAI 前員工 Daniel Kokotajlo 拒絕簽署離職協議，以便他可以自由地批評該公司。Daniel Kokotajlo 於 2022 年加入 OpenAI，主要負責安全部署人工智慧系統，並曾在治理團隊工作，直到上個月辭職。
據 Vox 報導，Daniel Kokotajlo 稱：「OpenAI 正在訓練更加強大的人工智慧系統，最終目標是全面超越人類智慧。這可能是人類有史以來最好的事情，但也可能是最糟糕的事情。」
OpenAI 一直將構建通用人工智慧 (AGI) 系統作為目標。「我加入時滿懷期待地希望 OpenAI 在越來越接近 AGI 時表現得更加負責任，但我們中的許多人慢慢意識到 OpenAI 沒有這樣做，我逐漸對 OpenAI 領導層以及他們負責任地處理 AGI 的能力失去了信任，所以我辭職了，」Daniel Kokotajlo 說道。
週五，Leike 在 X 的一條帖子中解釋了他辭去超級對齊團隊聯合領導職務的原因，並描繪了一幅非常相似的畫面。他寫道：「相當長一段時間以來，我一直與 OpenAI 領導層關於公司核心優先事項的觀點存在分歧，直到我們最終達到了臨界點。」
雖然 OpenAI 的技術仍在不斷髮展，但 Ilya Sutskever 等重量級科學家的流失讓人不得不擔心它的前途。
為什麼奧特曼「不值得信任」
此次緊隨 GPT-4o 釋出的新一輪動盪，其源頭還要追溯到去年的「宮鬥」。
在去年 11 月那場董事會風波中，Ilya Sutskever 曾與 OpenAI 原董事會合作試圖解僱奧特曼。OpenAI 在公告中稱奧特曼對董事會不夠坦誠。
當時有人將其解讀為：OpenAI 可能已經在內部實現了 AGI，但並沒有將訊息及時同步給更多人員，為了防止該技術未經安全評估就被大規模應用，Ilya 等人按下了緊急停止鍵。
不過僅僅一個週末的時間，奧特曼就重返 OpenAI 董事會，並且之前罷免他的董事被紛紛解僱，董事會宣佈重組，新任董事會主席 Bret Taylor 表示：「我們一致認為 Sam 和 Greg 是 OpenAI 的合適領導者。」
一場風波之後，奧特曼似乎可以更自由地管理 OpenAI 了，而 Ilya Sutskever 陷入了尷尬。
與之相對的是幾個月來，Ilya Sutskever 的動態甚少。據知情人士透露：「Sutskever 已經大約有六個月沒有在 OpenAI 的辦公室出現了，他一直遠端領導超級對齊團隊」，直到本週 Ilya 正式宣佈離職。
IIya 在 X 上發帖告別 OpenAI，發帖時間為 7：00AM
兩分鐘後，奧特曼就發帖稱：「這對我來說非常難過；Ilya 是我親密的朋友......」
Altman 緊隨 IIya 發帖，發帖時間為 7：02AM
準時官宣離職，迅速回應，這微妙的時間安排似乎說明了一切......
值得注意的是，Ilya 宣佈離職時，他表示自己將去追求「一個對我個人而言非常有意義的專案」。也就是說，注重 AI 安全的 Ilya 選擇離開 OpenAI 來完成自己的專案。
反觀奧特曼，一些 OpenAI 員工認為奧特曼雖然聲稱要優先考慮 AI 安全，但有些行為卻自相矛盾。例如，奧特曼似乎急於積累儘可能多的晶片，加速技術的發展，而忽視安全方面的進展。
此外，Ilya Sutskever 的盟友、超級對齊團隊成員 Leopold Aschenbrenner 上個月剛剛被 OpenAI 解僱。外媒報導稱他和同團隊另一位研究員 Pavel Izmailov 因被指控洩露資訊而被解僱。但 OpenAI 卻沒有提供任何洩露資訊的證據。
Aschenbrenner 和 Izmailov 被迫離職的同一個月，另一位安全研究員 Cullen O'Keefe 也離開了 OpenAI。
兩週前，安全研究員 William Saunders 在 EA 論壇上發表了一篇神秘的帖子。Saunders 總結了自己在 OpenAI 作為超級對齊團隊一部分的工作。然後他寫道：「我於 2024 年 2 月 15 日從 OpenAI 辭職。」
一位評論者提出了顯而易見的問題：為什麼 Saunders 要釋出這個？
「無可奉告」，Saunders 回答道。
這讓人回想起，去年奧特曼復職後不久，Ilya 釋出了這樣一條推特，但隨後很快被刪除：
IIya 在 X 上發帖：「過去的一個月裡，我學到了很多教訓，其中一個教訓是：『鞭打，直到士氣提升』這句話的使用頻率遠超其應有的程度。」
最後，超級對齊團隊的聯合領導人 Jan Leike 在 Sutskever 宣佈離職後僅幾個小時就在 X 上發帖：「我辭職了」，沒有溫暖的告別，也沒有對公司領導層的信任投票。
嚴格的「封口協議」
其他注重安全的前員工轉發了 Leike 直白的辭職推文，並附上了心形表情符號。
評論者認為他們可能是受到了一項「不得詆譭協議」的約束。
X 平臺上，一位 OpenAI 前員工爆料，並對公司「強制用協議保證的股權 + 工資激勵措施」和「離職協議簽署的合法性、合理性」做出了質疑。
入職檔案說明中包含一項：「在離開公司的六十天內，你必須簽署一份包含『一般豁免』的離職檔案。如果你沒有在 60 天內完成，你的股權獲益將被取消。」
這位爆料者還透露了：入職期間和 OpenAI 的人交談時，他們都沒有太在意這個小細節。
那麼，認真對待 AI 安全和社會影響的人在 OpenAI 工作是否是一件好事？這或許是個開放問題。
安全團隊土崩瓦解後，誰來確保 OpenAI 的工作是安全的？
隨著 Leike 不再擔任超級對齊團隊的負責人，OpenAI 已經用公司聯合創始人 John Schulman 替代了他。
但是該團隊很快就被員工證實已不復存在。該小組的工作將被納入 OpenAI 的其他研究工作中。而且 Schulman 正忙於他現有的全職工作，即：「確保 OpenAI 當前產品的安全。」
「成立超級對齊團隊的全部意義在於，如果公司成功構建了 AGI（通用人工智慧），那麼實際上會出現不同型別的安全問題，」這位內部知情人士告訴記者。「所以，這是對未來的專項投資。」
即使團隊在全力運作時，這種「專項投資」也佔據了 OpenAI 研究的重要部分，根據規定，公司曾經承諾會使用 20% 的算力來進行安全對齊 —— 這可能是當前 AI 公司最重要的資源。
現在，這些算力可能會被轉移到 OpenAI 的其他團隊，而且是否會將重點放在避免未來 AI 模型帶來的災難性風險上還不清楚。
需要明確的是，這並不意味著 OpenAI 現在正在釋出的產品 —— 比如新版 ChatGPT（由 GPT-4o 加持，可以與使用者進行語音的自然對話），會毀滅人類。
但接下來將會發生什麼？
「重要的是要區分『他們目前正在構建和部署不安全的 AI 系統嗎？』和『他們是否正在安全地構建和部署 AGI 或超級智慧？』」這位內部知情人士說。「我認為第二個問題的答案是否定的。」
Leike 在週五的 X 平臺帖子中也表達了同樣的擔憂。
他注意到，他的團隊一直在努力爭取足夠的算力來完成工作，並且總體上一直在「逆風航行」。
Jan Leike 在 X 平臺上連發 4 貼，對算力資源獲取和在 OpenAI 內部工作表示擔憂。
最引人注目的是，Leike 說：「我相信我們應該投入更多的精力來為下一代模型做好準備，關注安全性、監控，做好準備、讓 AI 具有對抗性的魯棒性、（超級）對齊，關注保密性、社會影響等相關主題。這些問題很難做對，我很擔心我們沒有朝著正確的方向前進。」
當世界上 AI 安全領域的領軍人物之一說世界上領先的 AI 公司沒有走在正確的軌道上時，所有人想必都有理由感到擔憂。
面對媒體曝光的大量資訊，OpenAI CEO 奧特曼立即回覆，表示接下來幾天會寫一篇長文說明這些問題。
但除此以外，更多的情況目前還只能靠猜測。
這一系列新變化可能會對 OpenAI 造成衝擊，同時令其投資者感到擔憂。我們知道，下週微軟的 Build 大會即將召開。
參考內容：
https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
https://www.wired.com/story/openai-superalignment-team-disbanded/
https://venturebeat.com/ai/openais-former-superalignment-leader-blasts-company-safety-culture-and-processes-have-taken-a-backseat/