AGI前夜的思考：2025年將出現真正的AI智慧體，年輕人需要快速適應

机器之心發表於2024-12-27
AI智慧體
2025 新年將至。對於新的一年和未來幾年，你對 AI 領域有什麼期待和設想呢？你是否認為 AGI 將要實現了而人類社會的一切都將因之而改變。

創業公司 Exa 的 CEO Will Bryk 在 X 上發了一篇長文，以「AGI 前夜的思考」為題，詳細闡述了他對 o3 模型的看法、對未來幾年的預測以及 AI 領域面臨的主要挑戰和風險。之後，他還給年輕人提出了一些建議，以幫助他們為不可避免的 AI 時代做好準備。
圖片
這篇文章啟發了不少討論和深度思考：
圖片
圖片
針對此文，網友們也有很多的好奇，一個關鍵問題是：畢竟 o3 在高計算量模式下每個任務的成本達到了數千美元。
圖片
答案也很簡潔：Money is all you need！
圖片
接下來，讓我們看看 Will Bryk 這篇充滿未來主義的文章究竟說了什麼以及預言了一個怎樣的未來。

AGI 前夜的思考

o3 本不應該讓人震驚。OpenAI 在 2 個月前就已經放出了測試時間擴充套件圖，而計算機的發展歷史已經告訴我們應該相信趨勢線，不管這個趨勢多麼令人難以置信。真正令人震驚的是這才不過 2 個月時間。2 個月，本科水平的 AI 就進化成了博士水平的 AI。在人類看來，變化激動人心，但快速變化則會讓人震驚。

接下來會發生什麼是顯而易見的。任何任務，只要能夠定義其獎勵函式，o3 這樣的模型都能非常尤其特別（reeeaally）擅長對其進行最佳化。數學和程式設計都是非常容易設計獎勵函式的任務。寫小說要難點。

所以這意味著在短期內（1 年），就會出現尖峰模型。它們在數學、編碼和一般推理方面基本上能達到 AGI 級別，但寫的小說還很普通。儘管更好的推理能力能讓這些模型整體上給人更聰明的感覺，但對於它們沒有針對性強化學習過的任務（即未在其訓練資料中），它們仍然會失敗。

當時間拉到更長範圍（1-3 年），我們會不斷為其增加新的訓練領域（情緒資料、感官資料等），直到補齊各個盲點。此時，這些模型顯然就是 AGI 了 —— 可能 Gary Marcus 不會這樣想。
圖片
Gary Marcus 是 AGI 即將實現論的強烈反對者

智慧體將在 2025 年真正到來。o3 這樣的模型沒有道理不能使用瀏覽器 / 應用程式。這類任務的獎勵模型很容易設計。自動化計算機工作也是一個巨大的市場，因此對於需要說明其鉅額開支用途的實驗室來說，這能提供巨大的激勵。我猜想，到 2025 年 12 月，你就能讓你的計算機完成各種工作流程了，不管是瀏覽網頁 / 應用，還是搬運資料。

AI 將會給哪些工作造成重大影響？

在各種知識類工作中，受影響最大的可能是數學家。數學家的工作領域範圍是符號空間。他們的工作與物理世界幾乎沒有聯絡，因此不會受到物理世界的阻礙。LLM 是符號空間之王。數學其實並不難，靈長類動物只是不擅長而已。正規表示式也是一樣。
圖片
OpenAI 的 o3 模型在數學和科學基準上都表現非常出色

一個大問題是製作研究級合成資料很難。我猜也沒那麼難。博士級數學和研究員級數學在我們看來在質量上有所不同，但在 AI 看來可能是一樣的，只是需要更多數量級的強化學習。

我給數學家 700 天時間。（這聽起來很瘋狂，但如果說 o6 還不能打敗數學家，聽起來同樣瘋狂；所以我對這個預測的把握超過一半，就像這篇文章中的所有其他預測一樣）。還有 700 天，人類就不再是已知宇宙中數學領域的頂尖群體了。

我們軟體工程師呢？短期內，AI 將助益軟體工程師。每位軟體工程師都能晉升為技術主管，很不錯。在那些完全採用 LLM 的人看來，到 2025 年底，程式設計將更像是編排一堆小任務再讓小智慧體去執行。

任何有明確規範的 PR（拉取請求）都可由 o4 系統完成，並且錯誤率也小得可以接受。不過，也有個問題：上下文視窗太小，無法裝下一個程式碼庫，但 Sam 這樣的領導者也很清楚這一點。

AI 自動化將很快接替所有人類軟體工程師嗎？並不會。軟體工程不只是基於明確清晰的提示詞做 PR。不同於數學家，軟體工程師需要不斷與物理世界（也就是其他人）互動。工程師必須與客戶和團隊合作，才能理解他們的需求。當工程師設計架構或編寫程式碼時，會涉及到大量有關組織的上下文知識。o4 將無法做到這一點。但是 o4 將幫助有上下文的工程師提速 10 倍以上。

如果軟體工程師提速 10 倍了，那麼就會需要更少的軟體工程師嗎？嗯，如果說的是一傢俱體的公司，那麼可能軟體工程師需求確實會下降，因為他們可以用更精簡的團隊實現相同的產出。然而，全世界對軟體工程師的需求可能會增加，因為這個世界肯定還需要 10 倍以上的高質量軟體。所以我認為我們將看到精簡公司應用開發的黃金時代。每個人和每家企業都將獲得自己的個性化微應用。

更長遠地看（大於 2 年就算是長期了），軟體工程將變得完全不同，但很難說會變成怎樣。當 o6 系統問世並且完全整合進我們的應用，又怎麼會不變呢？3 年後，前端工程師這樣的崗位可能就不存在了。很奇怪嗎？沒那麼怪啦 ——30 年前也同樣不存在前端工程師。

回頭看看，我們能看到每一代軟體都會發生天翻地覆的改變。軟體的核心一直都圍繞著將需求變成純邏輯。在抽象層級上，這種轉變過程已經從二進位制程式碼上升到了 Python。現在則是向英語等自然語言上升。
圖片
能用英語程式設計就為非技術人士進入這一領域開啟了大門。但最好的開發者依然還是那些能在各個抽象層級上移動的人。

簡而言之，由於軟體工程實際上就是透過程式碼來理解和解決組織的需求，因此軟體工程完全自動化的那天就是所有組織完全自動化的一天。

前面已經討論了一些知識工作者，那 AI 對體力工作者有何影響呢？AI 也會接替體力勞動，但會更慢一些，因為還必須處理重力和摩擦。不過，o 系列模型對機器人幫助不大，畢竟一次需要思考一個小時的模型對生產線上的機器人來說沒多大用處。

而基礎模型的進步能提供幫助，而 o 系列模型可幫助訓練這些模型，但我認為這無法解決機器人領域的最大障礙。我認為，這個最大障礙是硬體提升以及快速 / 可靠的感知 + 動作模型。這些需要更長的時間才能獲得改進（好幾年）。

只有當機器人開始製造機器人並且 AI 開始進行 AI 研究時，才可能出現機器人技術的瘋狂快速發展。這可能會由 o 系列模型實現，但我認為還需要再等幾年。
圖片
波士頓動力的人形機器人已能後空翻

最佳化測試時間計算 vs 繼續擴大規模

之前的討論都是以年為單位，但也許可以「計算」為單位。時間能決定人類的產出，而計算能決定 AI 的產出，而 AI 產出將逐漸成為研究機構最重要的事情。正因為此，科技巨頭正在激烈地競相構建超級計算叢集，比如 Meta 的 2GW 叢集、xAI 新增的 10 萬臺 H100。
圖片
所有實驗室都將快速跟進 OpenAI ，研發測試時間計算模型，有些實驗室可以透過更多的計算來彌補起初較差的演算法。他們會像趕上 GPT-4 一樣趕上 o 系列模型。要造出這些模型，需要結合常識和每個實驗室的秘密配方。

目前尚不清楚 OpenAI 在 o 系列模型方面有多少秘密配方，但它們的提升速度表明這是一種演算法上的進步（更容易復現），而不是某種獨特的資料組合（更難復現）。

在這個測試時間計算時代，我不清楚擁有更多計算更重要還是更優模型更重要。一方面，你可以透過投入更多的測試時間計算來彌補較差的模型。另一方面，稍好一點的模型可能會節省大量的計算。

如果 xAI 直接憑藉更擅長打造超大叢集而最終趕上了 OpenAI，那一定會很有意思。

無論如何，模型護城河都不會持續超過一年時間，因為實驗室像交換棒球卡一樣交換著研究者，也許更重要的是，實驗室之間的研究者會一起聚會和睡覺。另外，我認為研究者非常理想化，如果出現狀況，會樂於分享資訊。

現在的情況有點瘋狂。AI 競賽就像核競賽，但競爭雙方會在週末聚會，並在推特上互相挑釁：打賭你不會在 2025 年擁有最大的核彈，哈哈……

AI 競賽將繼續給人一種嬉皮娛樂的感覺，直到政府介入和 / 或發生一些非常糟糕的事情。

o 系列模型會以幾種有趣的方式改變計算擴充套件的動態。

o 系列模型將激勵大規模擴建，因為它們能隨著計算的增加而獲得明顯的收益。計算提供商最喜歡看到這樣的 Scaling Law。我猜，當 Sam 想要一個數萬億美元的計算叢集時，看到的就是這個定律。
圖片
對英偉達來說，這不見得是好事。o 系列模型使得推理比訓練更重要。我認為，超級最佳化的推理晶片比訓練晶片更容易製造，因此英偉達在這方面的護城河並沒有那麼不可撼動。

非常推測：如果 o 系列模型能釋放全世界的聚合計算來訓練最好的模型呢？比如，如果我們把 Macbook Pro 合在一起，組成一個推理千兆叢集，那麼開放原始碼就能打敗封閉原始碼，那該有多酷？

AI 將會從根本上改變科學研究

計算之外的另一個新指數是程式碼本身。如果一個實驗室擁有使用最智慧模型的唯一或特別途徑，他們的軟體工程師的生產力比其他實驗室高出 2 倍，那麼他們就能更快地接近下一個生產力翻番的目標。

除非程式碼速度達到極限，有一長串實驗需要執行，實驗室再次陷入計算瓶頸。(我不知道，動態變化很難。如果能看到實驗室如何模擬計算與人力之間的關係，那將是一件超酷的事）。

雖然所有這些計算建設和知識工作自動化聽起來都很瘋狂，但只有當科學家們開始感受到 AGI 的時候，這一切才會變得真正瘋狂。我指的是物理學家、化學家和生物學家。

它會從任何理論名稱開始，理論物理學是第一位的。如果數學真的被解決了（寫這篇文章聽起來都很荒謬，但這並不意味著不可能），那麼理論物理學也不會落後太多。它也生活在符號領域，LLM 將在這個領域成為超人。
圖片
2024 年的諾貝爾物理學和化學獎授予了 AI 研究者

當我們有一百萬個 AI 馮諾伊曼在盧薩納（Meta 即將建立的資料中心）的田野上日夜工作時，會發生什麼？它們能以多快的速度讀完上個世紀成千上萬篇物理學論文，並立即吐出更多正確的 token？

顯然，這是難以預測的部分。理論物理、化學、生物學，如果這些對於用 RL 訓練出來的 LLM 來說是個笑話呢？在這一點上，我們有什麼合理的理由來證明它不會是笑話呢？

是的，我們還沒有從這些模型中看到真正的創新，但它們主要是在高中 / 大學階段，而這些年齡段的人並不會發明新的物理學。我們現在處於階段性水平，所以我們可能會開始看到一些創造性。

一旦人工智慧開始不斷提出新的科學理論，進步的瓶頸將是在物理世界中進行測試和實驗。那裡的瓶頸是勞動力和材料。到那時，如果沒有能製造出更多機器人的機器人，那才叫奇怪呢。因此，勞動力問題已經解決。然後，機器人可以開採材料。這裡的時間表會很慢，因為建造 / 運輸實物需要很長的時間，但這是幾年而不是幾十年。

AI 發展的阻礙與風險

我以上所說的一切，都是假定人工智慧和機器人的研究 / 開發不會遇到新的瓶頸，而且模型可以隨心所欲地學習。這幾乎肯定不會發生，阻礙人工智慧發展的最大瓶頸將是人類。

另一個風險是，人工智慧會失控。也就是說，它會造成我們無法預料的大滅絕。特別是隨著強化學習重回遊戲，人工智慧現在正在發現自己的最佳化方案，而不是試圖匹配人類資料（匹配人類更安全）。但到目前為止，這些模型的底層大腦仍然是一個 LLM，而 LLM 已經顯示出了對人的理解能力。

但我的興奮感肯定多於害怕感。

未來十年可能實現的目標

我一直嚮往的科幻世界即將到來。它來得比預想的要快一些，因此我感到恐懼，但在所有可能到達那裡的路徑中，我不知道最好的路徑會有多好。這是一個相當不錯的時間表。

我最希望在十年內實現的目標是：

  • 一些瘋狂酷炫的物理發現；

  • 最初由機器人建造的火星和月球基地；

  • 完美的家庭教師 / 建議（快到了，需要良好的檢索能力、記憶力和更多的個性）；

  • 零副作用的生物強化藥物；

  • 乘坐超級最佳化的無人機四處飛行；

  • 使用核聚變、地熱和大量太陽能等超級清潔能源；

  • 一些意想不到：人工智慧天文學家在望遠鏡資料中發現外星訊號？人工智慧化學家輕鬆設計出室溫超導體？人工智慧物理學家統一了一些理論？人工智慧數學家解決了黎曼猜想？

這些看起來不再是科幻小說，而是近在咫尺的科學現實。

那麼，這一切將何去何從？最終我們會得到超級智慧，這意味著我們會得到物理定律所允許的一切，我希望能長生不老，並看到其他恆星系統。我還希望把我們的肉體升級到更好的東西。但到目前為止，我最想知道宇宙從何而來。

10 年前，我開始寫日記，講述我是多麼想知道這個答案，以及人工智慧將如何把我們帶到那裡，而現在這一切可能真的發生了，這太瘋狂了。

我們現在生活的世界，這一切聽起來都有可能實現。每一次新的人工智慧發展都會讓更多的人意識到這一點，o3 就是最近的一次。

我們應當守護我們的未來並適應變化

未來不超級棒的唯一可能就是我們這些人把它搞砸了。

人們認為人工智慧實驗室的人在控制我們的未來。我不這麼認為。他們的工作已經確定。他們只是在探究模型架構，而就算這個實驗室不做，也有另外的實驗室來做。

但是，很多東西都是完全不確定的。這意味著我們是未來的守護者。我們每一個人都有責任幫助我們的世界渡過未來的艱難時期，讓我們擁有一個美好的未來，而不是一個可怕的未來。

有很多方法可以幫助我們：幫助製造能讓社會更穩定或讓人們更聰明的產品（例如幫助人們規範社交媒體的應用程式）。幫助人們瞭解正在發生的事情（在社交媒體上提供更多高質量的評論、一個非常好的搜尋引擎等）。幫助清理我們的街道，讓這座要求把我們帶入烏托邦的城市不會看起來反烏托邦。

幾乎每個與我交談過的人都害怕在人工智慧世界中失去意義，你可能也是。我想對你說，這不正好相反嗎？你生活在歷史最重要的時期，你有能力影響它。幫助拯救世界就足夠了，不是嗎？你想回到那個只有你的事業進步而不是世界都在進步的時代嗎？

也許，人們需要做的轉變是從「透過個人成功獲得意義」到「透過集體成功獲得意義」。我們目前的許多工作很快就會自動化，我們必須適應。如果你從一項特定的技能中獲得意義，這項技能可能在 5 年後就不再需要了，那你就倒黴了。但如果你能從力所能及的幫助世界中獲得意義，那麼這種意義永遠不會消失。

對於所有因為 o3 而得到建議的新畢業生，我的建議是：學習成為一個高水平的問題解決者和出色的團隊合作者。你在學習過程中學到的具體技能並不重要，因為世界變化太快。但是，在很長一段時間內，跳躍性地解決問題和與團隊良好合作將非常重要。

你可能還需要接受不穩定世界中的不穩定生活。這會變得很奇怪。你可能不會在郊區有兩個孩子和一條狗。你可能會在星際方舟上有兩個機器人孩子和一隻人工智慧狗。

我們正生活在 AGI 的前夜，我希望你們能幫助 AGI 順利過渡，這樣我就能在公元 3024 年的聖誕夜，在四光年外繞著 Altman Centauri 執行的星球上向你們問好。

原文連結：https://x.com/WilliamBryk/status/1871946968148439260

相關文章