LeCun批評o1根本不像研究,Noam Brown回懟:已發表的研究都是廢話

机器之心發表於2024-09-30

圖靈獎三巨頭之一 Yann LeCun 又和別人吵起來了,這次是 Noam Brown。

Noam Brown 為 OpenAI o1 模型的核心貢獻者之一,此前他是 Meta FAIR 的一員,主導了曾火遍一時的 CICERO 專案,在 2023 年 6 月加入 OpenAI 。

這次吵架的內容就是圍繞 o1 展開的。眾所周知,從 AI 步入新的階段以來,OpenAI 一直選擇了閉源,o1 的釋出也不例外。

這也引來了廣大網友的吐槽,乾脆叫 CloseAI 算了,反觀 Meta,在開源領域就做的很好,o1 的釋出,更是將這一爭論進行了升級。

這不,面對廣大網友的吐槽,OpenAI 顯然是知道的。就在前兩天 Noam 發了一條訊息:「我們這些參與 o1 的人聽到,外界聲稱 OpenAI 降低了研究的優先順序,聽到這些訊息我們感覺很奇怪。我向大家保證,事實恰恰相反。」

圖片

對於這一說法,Yann LeCun 不滿意了,直接跑到評論區開懟「如果你們不能(公開)談論它,那就不是研究。」

Noam Brown 顯然對 LeCun 的回答不是很滿意,回擊表示:(無需談論,)有時一幅圖勝過千言萬語。在 Noam Brown 引用的這張圖裡,上面還配了一段文字「o1 經過 RL 訓練,在透過私有思維鏈做出反應之前會先進行思考。思考的時間越長,它在推理任務上的表現就越好。這為擴充套件開闢了一個新的維度。我們不再受預訓練的瓶頸限制。我們現在也可以擴充套件推理計算了。」

圖片

更進一步的,Noam Brown 表示在 OpenAI 釋出的這篇部落格文章中,他們分享了大量的資訊,包括 CoT 的內容,Noam Brown 表示這些資訊非常具有啟發性。(為了讓大家更好的瞭解 o1)上週,他還在加州大學伯克利分校就 o1 模型進行了一次演講。

Noam 言外之意就是,你看 OpenAI 也是會介紹技術相關的內容的,OpenAI 並不是大家認為的對技術避而不談。

圖片

對於這一說法,顯然 LeCun 很不滿意:「我很抱歉 Noam,但部落格文章與技術論文相比,遠遠達不到可復現性、方法論以及與最新技術的公正比較等標準。當你們在壓力下開發新技術以產生短期產品影響時,你們只需儘快構建你認為最有可能發揮作用的東西。如果它足夠好,你就部署它。你們可能不在乎它是否真的具有新奇的創新,是否真的超越了最先進的技術,或者它是否是一個糟糕的臨時解決方案,或者從長遠來看是否是正確的選擇。你們可以自欺欺人地認為這是自切片面包以來最好的東西,只要你的老闆和產品人員也能被欺騙。但你知道研究不是這樣的。」

圖片

Noam 反駁道「我認為恰恰相反。坦白說,很多已經發表的研究說的都是廢話,作者只需要欺騙 3 位審稿人和一位 AC。但當你釋出一個數百萬人使用的東西時,你不能只是釋出欺騙自己、老闆和產品人員的產品,使用者會有自己的決定。」

圖片

隨後,哈佛大學電腦科學教授 Boaz Barak(資料顯示,從 2024 年 1 月開始,Barak 離開哈佛大學前往 OpenAI 工作一年)表示:「我認為你們倆的觀點都很好。o1 背後的研究絕對具有創新性,草莓團隊已經完成了驚人的工作和想法,OpenAI 正在改變人們擴充套件新人工智慧系統的方式。

雖然我們發表了部落格,Noam 也做了相關演講,但從純粹加速科學進步的角度來看,如果能夠釋出所有的細節,開源所有的程式碼和權重,那就更好了。然而,正如我們部落格中所說,我們還有其他考慮,包括競爭壓力和安全因素,因此目前還不宜這樣做。」

圖片

對此,LeCun 認為 OpenAI 不公佈技術細節,出於競爭壓力的考量還是可信的,但他絕不相信 OpenAI 是為了安全。

圖片

至此,這段 battle 告一段落。但大家討論的熱情居高不下。

「對於一家擁有數百名高階專家的非營利組織怎麼可能每年只發表很少的論文?我認為自 2021 年以來,OpenAI 每年只有 2-3 篇論文?OpenAI 是過去 20 年來最不開放的前沿科技公司。」

圖片

還有網友表示「雖然這是一項很酷的研究,但我同意 Yann 的觀點 —— 不符合研究標準,因為 OpenAI 沒有發表論文、進行同行評審或研究的可復現性。OpenAI 在 GPT-3 之前發表了很棒的研究,之後就是讓人懷疑的部落格文章和炒作(例如 Sora)。我希望 OpenAI 能推動研究團隊和管理層再次發表文章,如果有真正新穎的東西,就申請專利。如果 OpenAI 能發表文章,那麼其影響力會更大;這幾年 OpenAI 的閉源真是令人失望。」

圖片

最後,還有網友靈魂一問:那他們(Ilya Sutskever、Mira Murati 等)為什麼都離開了?

圖片

「人才流失如此之快的原因到底是什麼?」

圖片

對於這場辯論,你怎麼看?歡迎評論區留言。

參考連結:https://x.com/polynoamial/status/1839836929115721915

相關文章