Ilya官宣離職,超級對齊負責人Jan直接辭職,OpenAI還是走散了

机器之心發表於2024-05-15

今天,OpenAI 聯合創始人、首席科學家 Ilya Sutskever 發推宣告離職。

在 OpenAI 工作近 10 年後,我做出了離開的決定。OpenAI 的發展軌跡可以稱得上是奇蹟,我相信 OpenAI 會在 Sam Altman、Greg Brockman 和 Mira Murati 的領導下,以及 Jakub Pachocki 的出色研究領導下構建安全有益的 AGI。

能夠一起工作是一種榮幸,我會非常想念大家。這麼久了,感謝你們大家所做的一切。我對接下來發生的事情感到興奮,接下來從事的這個專案對我來說非常有意義,我會在適當的時候分享細節。

圖片

Ilya Sutskever 還分享了與 Sam Altman、Greg Brockman 和 Mira Murati 等人的合照。

OpenAI CEO 奧特曼在推特上發文表示,Ilya 與 OpenAI 的分道揚鑣令人非常難過。

圖片

Ilya 無疑是我們這一代最偉大的思想家之一,是我們領域的指路明燈,也是我的摯友。他的才華和遠見眾所周知;他的溫暖和同情心不那麼廣為人知,但同樣重要。

沒有他,OpenAI 就不會是今天的樣子。儘管他有一件對他個人意義重大的事情要去做,但我永遠感激他在這裡所做的一切,並致力於完成我們一起開始的使命。我很高興在這麼長時間裡,我能如此接近這樣一個真正非凡的天才,以及一個如此專注於為人類帶來最佳未來的人。

Jakub Pachocki 將成為我們的新首席科學家。Jakub 同樣無疑是我們這一代最偉大的思想家之一;我很高興他將在這裡接過接力棒。他負責過我們許多最重要的專案,我非常相信他將帶領我們快速而安全地朝著確保通用人工智慧(AGI)惠及所有人的使命前進。

即將成為下一任 OpenAI 首席科學家的 Jakub Pachocki 也對自己的前任 Ilya 表達了感謝。

Ilya 把我帶入了深度學習研究的世界,多年來一直是我的導師和偉大的合作者。他對深度學習的令人難以置信的願景成為 OpenAI 和 AI 領域如今的基礎。我非常感謝他與我們進行了無數次對話,從有關 AI 未來進步的高層討論,到深入的技術白板會議。Ilya,我會想念與你一起工作的日子。

圖片

據 OpenAI 官網介紹,新任 OpenAI 首席科學家 Jakub Pachocki 擁有卡內基梅隆大學理論電腦科學博士學位,自 2017 年以來一直領導 OpenAI 的變革性研究計劃。此前他曾擔任 OpenAI 研究總監,也是開發 GPT-4 和 OpenAI Five 的帶頭人,還包括大規模 RL 和深度學習最佳化方面的基礎研究。

圖片

OpenAI 表示:「他在重新調整公司願景以擴充套件深度學習系統方面發揮了重要作用。」

至此,Ilya Sutskever 和 OpenAI 八年的故事結束了。

與 Ilya 同步宣佈離開的,還有超級對齊團隊的共同領導者 Jan Leike。

圖片

而我們都還記得,超級對齊團隊在2023年7月才成立,目標是「在 OpenAI 大量計算的支援下,到 2027 年解決這個(對齊)問題。」

如今,兩人同時離開,只留下未竟的事業。在 Ilya 的下一步計劃中,會將「超級對齊」進行到底嗎?

童年生活動盪,本科期間拜入 Hinton 門下

事實上,即使在一個沒有 OpenAI 的世界裡,Ilya Sutskever 仍會載入人工智慧史冊。

Ilya Sutskever 是以色列裔加拿大人,出生於前蘇聯,五歲隨家人移民耶路撒冷(因此他精通俄語、希伯來語和英語),2002 年搬到加拿大生活。

在多倫多大學讀本科期間,Ilya Sutskever 從一個叫做「改進隨機鄰域嵌入演算法」的專案開始,開始了與 Geoffrey Hinton 的合作,後來在攻讀博士學位時正式加入了 Hinton 的團隊。

後來的事情我們都熟悉:2012 年,Hinton 帶著 Ilya Sutskever 和另一名研究生 Alex Krizhevsky 建立了一個名為 AlexNet 的神經網路,其識別照片中物體的能力遠遠超過了當時的其他系統。

圖片

Ilya Sutskever(左)、Alex Krizhevsky(中)、Geoffrey Hinton(右)

Geoffrey Hinton、Yann LeCun、Yoshua Bengio 成為了深度學習三巨頭,並在 2018 年獲得了圖靈獎,獲獎理由就是「在神經網路方面的研究成果」。

但當 Ilya Sutskever 在 21 世紀初加入 Hinton 團隊時,大多數人工智慧研究者都認為神經網路是一條死衚衕。

「由於與 Geoffrey 合作,我有機會研究這個時代一些最重要的科學問題,並追求大多數科學家極不認可、但事實證明完全正確的想法,」Ilya Sutskever 後來在一次採訪中說道。

AlexNet 是深度學習的爆發時刻。經歷了多年的失敗之後,他所在的團隊最早證明了模式識別問題可以被解決 —— 秘決就是一個經過大量資料和算力訓練的深度神經網路

這種思路從計算機視覺延伸到了自然語言處理領域,同樣是 ChatGPT 取得如今成就的重要因素,包括 Sora 在影片生成領域的成功也離不開這兩點。

2012 年畢業後,Ilya Sutskever 在史丹佛大學跟隨吳恩達做了兩個月的博士後,隨後返回多倫多大學並加入了 Hinton 研究小組的衍生公司 DNNResearch 。

2013 年 3 月,Google 收購了 DNNResearch,聘請了 Ilya Sutskever 擔任 Google Brain 的研究科學家。

「Ilya 一直對語言很感興趣,」現任谷歌首席科學家 Jeff Dean 說:「他對事物的發展方向有很強的直覺。」

在谷歌,Ilya Sutskever 展示瞭如何深度學習模式識別能力應用於資料序列,包括單詞、句子。他與 Oriol Vinyals 和 Quoc Le 合作建立了序列到序列(Seq2seq)學習演算法,深度參與了 TensorFlow 的研究,也是 AlphaGo 論文的眾多作者之一。

加入 OpenAI,牽頭 GPT 系列研發

對語言的濃厚興趣,或許推動了 Ilya Sutskever 加入 OpenAI 的腳步。

2015 年 7 月,Ilya Sutskeve 參加了 Y Combinator 總裁 Sam Altman 在 Sand Hill Road 一家餐廳舉辦的晚宴,在那裡遇到了 Elon Musk 和 Greg Brockman。

那場晚宴上誕生了 OpenAI。在場的人就一件事達成了一致:它需要是一個非營利組織,沒有任何競爭性的激勵措施來淡化其使命,還需要世界上最好的人工智慧研究人員。

2015 年底,Ilya Sutskever 以「研究總監」的頭銜開始領導 OpenAI 的研究和運營,這個組織還吸引了幾位世界知名的人工智慧研究者,包括「GAN 之父」 Ian Goodfellow、UC 伯克利的 Pieter Abbeel 以及 Andrej Karpathy。

這家新公司擁有 10 億美元的資金支援,來自 Sam Altman、Elon Musk、Peter Thiel、Microsoft、Y Combinator 和其他公司,從一開始就把目光投向了 AGI,即使當時很少有人認真對待這一前景。

然而,最初的 OpenAI 卻舉步維艱。Ilya Sutskever 說:「在我們啟動 OpenAI 的時候,有一段時間我並不確定將如何繼續取得進展。但我有一個非常明確的信念,那就是不能與深度學習對賭。不知怎的,每次遇到障礙,研究人員都會在半年或一年內找到繞過它的方法。」

2016 年,OpenAI 的第一個 GPT 大型語言模型問世。從 GPT-2 到 GPT-3,模型的能力越來越強大,證明了這條路線的實際正確性。每一次釋出,OpenAI 都在不斷提高人們的想象力上限。

但 Ilya Sutskever 卻透露,真正讓 OpenAI 出圈的 ChatGPT 釋出時,公司內部對此的期望值很低:「你問它一個事實性的問題時,它會給你一個錯誤的答案。我以為它會很平淡無奇,人們會說:你為什麼要做這個?這太無聊了!」

將 GPT 模型封裝在一個易於使用的介面中並免費開放,讓數十億人第一次瞭解到 OpenAI 正在構建的東西。在此之前, ChatGPT 背後的大型語言模型已經存在了幾個月。

ChatGPT 的成功,讓創始團隊受到了前所未有的關注。

2023 年,OpenAI 的執行長 Sam Altman 花了大半個夏天的時間,進行了長達數週的外聯之旅 —— 與政客們交談,在世界各地座無虛席的禮堂發表演講。

作為首席科學家,Ilya Sutskever 保持著低調的風格,也不經常接受採訪,不像公司的其他創始成員那般是個公眾人物,而是把更多的精力放在了 GPT-4 上。

他對談論自己的個人生活不感興趣:「我的生活很簡單。去上班,然後回家。我不做其他事情。一個人可以參與很多社交活動,可以參加很多活動,但我不去。」

ChatGPT 的成果給他帶來了什麼

今年早些時候,Hinton 曾公開表示對自己幫助發明的技術感到恐懼:「我從沒見過更高智慧水平的東西被遠遠更低智慧水平的東西控制的案例。」

作為 Hinton 的學生,Ilya Sutskever 沒有對這一言論發表評論,但他對超級智慧負面影響的關注表明他們是同道中人。

隨著 GPT-4 以及後續一系列更強大的大語言模型的更新,以 Ilya Sutskever 為代表的一部分 OpenAI 成員越來越擔憂 AI 的可控性問題。

在 OpenAI 沸沸揚揚的「宮鬥」事件之前,Ilya 曾接受過 MIT 科技評論記者的採訪。

他表示,自己的工作重點不再是製造下一代 GPT 或影像製造機 DALL-E,而是研究如何阻止人工超級智慧(他認為這是一種假想的未來技術,具有先見之明)的失控。

「Sutskever 還告訴了我很多其他事情 —— 他認為 ChatGPT 可能有意識(如果你眯著眼睛看的話)。」記者如此寫道。

Ilya Sutskever 認為,世界需要清醒地認識到 OpenAI 和其他公司正在努力創造的技術的真正威力。他還認為,總有一天人類會選擇與機器融合。

一旦人工智慧的水平超過人類,人類又該如何監督比自己聰明得多的人工智慧系統?

OpenAI 在 2023 年 7 月成立了「超級對齊」(Superalignment)團隊,目標是在四年內解決超智慧 AI 的對齊問題。Ilya Sutskever 是該專案的牽頭人之一,OpenAI 表示會將 20% 的算力專門用於該專案的研究。

在一次訪談中, Ilya Sutskever 大膽預言,如果模型能夠很好地預測下一個詞,那麼意味著它能夠理解導致這個詞產生的深刻現實。這意味著,如果 AI 按照現有路徑發展下去,也許在不久的將來,一個超越人類的人工智慧系統就會誕生。但更加令人擔心的是,「超級人工智慧」可能會帶來一些意想不到的負面後果。這就是「對齊」的意義。

這個團隊的第一篇成果釋出於 2023 年 12 月:使用 GPT-2 級別的小模型來監督 GPT-4 級別的大模型,能獲得接近 GPT-3.5 級別的效能,開闢了對超人類模型進行實證對齊的新研究方向。

同時,OpenAI 宣佈與 Eric Schmidt 合作,啟動了一項 1000 萬美元的資助計劃支援技術研究,以確保超人類人工智慧系統的一致性和安全性。

隨著兩位團隊領導者的離開,超級對齊團隊的未來變得有些縹緲。

與 OpenAI 創始團隊決裂

從今天的結果來看,Ilya Sutskever 應該是與 Sam Altman 所代表的派系產生了不可彌合分歧。

因為關於「宮鬥事件」的過程,OpenAI 董事長兼聯合創始人 Greg Brockman 的說法是:

Sam 收到首席科學家 Ilya Sutskever 發來的要求週五中午溝通的簡訊。Sam 用 Google Meet 參加了這次會議,除了 Greg 之外,整個董事會成員都參與了這場會議。Ilya Sutskever 告訴 Sam 他將被解僱,並且訊息很快就會發出。

當天中午 12:19,Greg 收到 Ilya Sutskever 發來的簡訊,要求儘快電話溝通。12:23,Ilya Sutskever 收到 Google Meet 會議連結。Greg 被告知,他將被從董事會中除名(但他對公司至關重要,並將保留他的職位),而 Sam 已被解僱。大約在同一時間,OpenAI 釋出了公告。

OpenAI 在公告中稱 Altman 對董事會不夠坦誠。有人將其解讀為:OpenAI 可能已經在內部實現了 AGI,但並沒有將訊息及時同步給更多人員,為了防止該技術未經安全評估就被大規模應用,Ilya 等人按下了緊急停止鍵。

據 The Information 的報導,在 OpenAI 當天舉行的全員會上,Ilya Sutskever 承認了員工所說的這是一場「政變」。他表示「你可以這麼說(是政變),但我覺得這只是董事會在履行自己的職責。」

當然,這一切都只是猜測。

11 月底,Sam Altman 正式迴歸 OpenAI。大局已定,Ilya Sutskever 沒有立即離開 OpenAI,但也沒有再出現在 OpenAI 舊金山的辦公室。

Sam Altman 表達了對 Ilya Sutskever 的謝意,並希望繼續他們之間的工作關係:「我尊重並熱愛著 Ilya,我認為他是這個領域的指路明燈,也是人類的瑰寶。我對他的惡意為零。」

圖片

Y Combinator 投資董事總經理 Dalton Caldwell 曾回憶:「我記得 Sam Altman 說過 Ilya 是世界上最受尊敬的研究人員之一,他認為 Ilya 能夠吸引很多頂尖的人工智慧人才。他甚至提到,世界頂級人工智慧學者 Yoshua Bengio 認為,不可能找到比 Ilya 更好的人選來擔任 OpenAI 的首席科學家。」

最終接任的 Jakub Pachocki,或許也是 OpenAI 董事會深思熟慮之後的選擇。Jakub 2017 年就加入了 OpenAI,這也是他離開學校後的第一份工作。

What did Ilya see?

關於 Ilya 離開 OpenAI 的傳聞其實已經傳了很久。在 OpenAI 發生「宮鬥」、Sam Altman 被趕出 OpenAI 之際,有人傳言說 Ilya「看到了一些東西」,這些東西足夠強大,讓他對 AI 的未來產生了擔憂,並重新思考 AI 的發展。但他究竟看到了什麼,目前還無人知曉。

圖片

其實,Ilya 的這種擔憂並不是 ChatGPT 出來之後才有的。在拍攝於 2016 年至 2019 年的一段影片中,Ilya 曾表示,在 AGI 實現的那一天,AI 未必會仇恨人類,但他們對待人類的方式可能會像人對待動物一樣。人可能無意傷害動物,但如果你想修一條城際高速,你不會徵詢動物的意見,而是直接去做。當面臨這種情況時,AI 可能也會自然而然地做出類似的選擇。這是 Ilya 的 AI 哲學觀。Ilya官宣離職,超級對齊負責人Jan直接辭職,OpenAI還是走散了這就解釋了為什麼 Ilya 總是對 AI 的進步憂心忡忡,並專注於 AI 對齊(讓 AI 與人類價值觀對齊)工作。

Ilya 何去何從?

同為中途離開的 OpenAI 創始成員,馬斯克向 Ilya Sutskever 丟擲過橄欖枝,表示 Ilya Sutskever 應該加入特斯拉或 xAI。這會是他的下一步打算嗎?

鑑於加州沒有競業禁止規定,Ilya Sutskever 可以立即去另一家公司工作或創辦另一家公司。

另一位知名的 OpenAI 員工 Andrej Karpathy 就曾經在離開 OpenAI 後加入特斯拉,然後從特斯拉又回到 OpenAI,前不久再次宣佈離開。2023 年底的「宮鬥事件」發生時,Karpathy 正在休假,完全是「局外人」,但卻比 Ilya 早一步辦完離職手續。

真相究竟如何呢?我們不知道還有沒有機會得知。

Ilya Sutskever 說的很多話可能有些狂野,但在現在這個節點看,已經沒有一兩年前那樣讓人感覺「瘋狂」了。正如他說的那樣,ChatGPT 已經改寫了很多人對未來的預期,把「永遠不會發生」變成了「會比你想象的更快發生」。

參考連結:

https://twitter.com/sama/status/1790518031640347056

https://twitter.com/ilyasut/status/1790517455628198322

相關文章