在人們的普遍想象中，冷戰的恐怖主要可以追溯到洛斯阿拉莫斯，即原子彈的發明。但單單原子彈可能被高估了。從原子彈到超級原子彈——氫彈——可以說同樣重要。
原子彈是一種更有效的轟炸手段。超級原子彈是一種毀滅國家的武器。
AGI 和超級智慧也是如此。
以目前人工智慧快速而持續的進步速度，向超級智慧的飛躍已經足夠瘋狂了（如果我們能在 4 年內從 GPT-4 躍升至 AGI，那麼再過 4 年或 8 年又會帶來什麼？）。但如果 AGI 能夠實現人工智慧研究本身的自動化，那麼速度可能會更快。
一旦我們擁有了 AGI，我們將不會只有一個 AGI。
但是：到那時，考慮到推理 GPU 叢集，我們很可能能夠執行數百萬個 GPU（也許相當於 1 億個人類 GPU，並且很快將達到人類速度的 10 倍以上）。即使它們還不能在辦公室裡走動或煮咖啡，它們也將能夠在計算機上進行 ML 研究。
與領先的 AI 實驗室中的幾百名研究人員和工程師相比，我們將擁有超過 100,000 倍的研究人員和工程師——他們日夜不停地努力實現演算法突破。
是的，遞迴式的自我改進，但不需要科幻小說；他們只需要加速現有的演算法進步趨勢線
自動化 AI 研究可能會將人類十年的演算法進步壓縮到不到一年的時間內（這似乎是保守的）。這將是 5+ OOM
這是一個質的飛躍，就像從學齡前兒童到聰明的高中生一樣，在已經像專家 AI 研究人員/工程師一樣聰明的 AI 系統之上 。
有幾個可能的瓶頸：包括實驗的計算能力有限、與人類的互補性以及演算法進步變得越來越困難。
不知不覺中，我們就會擁有超級智慧——比人類聰明得多的人工智慧系統，能夠做出我們甚至無法理解的新穎、創造性和複雜行為——甚至可能形成一個由數十億人組成的小型文明。它們的力量也將是巨大的。將超級智慧應用於其他領域的研發，爆炸性進展將從機器學習研究擴大到其他領域；很快它們就會解決機器人技術問題，在幾年內在其他科學技術領域取得巨大飛躍，隨後將出現工業爆炸。超級智慧可能會提供決定性的軍事優勢，並展現出難以言喻的破壞力。我們將面臨人類歷史上最緊張、最動盪的時刻之一。
自動化人工智慧研究
對通用人工智慧變革性影響的常見反對意見是，人工智慧很難做到一切。懷疑者說，以機器人為例；這將是一個棘手的問題，即使人工智慧的認知水平達到博士的水平。或者以自動化生物學研發為例，這可能需要大量的物理實驗室工作和人體實驗。
但是，我們不需要機器人——我們不需要很多東西——讓人工智慧實現人工智慧研究的自動化。領先實驗室的人工智慧研究人員和工程師的工作可以完全在虛擬環境中完成，而且不會以同樣的方式遇到現實世界的瓶頸。
從總體上看，人工智慧研究人員的工作相當簡單：
- 閱讀機器學習文獻並提出新的問題或想法，
- 實施實驗來測試這些想法，
- 解釋結果，然後重複。
這一切似乎都恰好處於這樣一個領域：到2027 年底，對當前人工智慧能力的簡單推斷就可以輕鬆讓我們達到或超越最優秀的人類水平。
- 我們將能夠執行數百萬份自動化 AI 研究人員的副本（並且很快將以 10 倍以上人類的速度執行）。
- 這將使我們能夠執行數百萬個自動化 AI 研究人員的副本，也許相當於 1 億個人類研究人員，晝夜不停地執行。
另一種思考方式是，考慮到 2027 年的推理佇列，我們應該能夠每天生成價值整個網際網路的代幣。
此外，我們的自動化人工智慧研究人員可能很快就能以比人類更快的速度執行：
- 透過採取一些推理懲罰，我們可以用執行更少的副本換取以更快的序列速度執行它們。（例如，透過“僅”執行 100 萬份自動化研究人員的副本，我們可以將速度從約 5 倍提高到約 100 倍。）
- 更重要的是，自動化 AI 研究人員研究的第一個演算法創新正在實現 10 倍或 100 倍的加速。Gemini 1.5 Flash 比最初發布的 GPT-4 快 10 倍左右，僅僅一年後，在推理基準測試中，GPT-4 的效能就與最初發布的 GPT-4 相當。
- 如果這是幾百名人類研究人員一年內可以找到的演算法加速，那麼自動化 AI 研究人員將能夠很快找到類似的勝利。
也就是說：在我們開始能夠實現人工智慧研究自動化後不久，預計會有 1 億名自動化研究人員以 100 倍於人類的速度工作。他們每個人都能在幾天內完成一年的工作量。與當今領先的人工智慧實驗室中幾百名微不足道的人類研究人員以 1 倍於人類的速度工作相比，研究工作量的增加將是驚人的。
這很容易大大加速演算法進步的現有趨勢，將十年的進步壓縮到一年。
可能的瓶頸
雖然這個基本故事出人意料地強大——並且得到了徹底的經濟模型工作的支援——但仍存在一些真實且合理的瓶頸，可能會減緩自動化人工智慧研究智慧的爆炸式增長。
我將在這裡給出一個總結，然後在下面的可選部分中為感興趣的人更詳細地討論這些內容：
- 有限的計算：
- 互補性/長尾效應：經濟學的一個經典教訓（參見鮑莫爾的增長病）是，如果你能將某件事的 70% 自動化，你會獲得一些收益，但剩下的 30% 很快就會成為你的瓶頸。
- 演算法進步的固有限制：當前的架構和訓練演算法仍然非常初級，而且似乎應該可以實現更高效的方案。生物學參考類也大大支援了更高效的演算法成為可能。 類人腦：能效提高100萬倍！
- 創意越來越難，我認為這個基本模型是正確的，但實證研究卻不合邏輯：研究工作量增加的幅度——一百萬倍——遠遠大於維持進步所必需的研究工作量增長的歷史趨勢。
- 創意越來越難找到，而且收益遞減，即使自動化人工智慧研究人員最初取得了突飛猛進的進展，快速進展能否持續取決於演算法進展收益遞減曲線的形狀。
超級智慧ASI的力量
到本世紀末我們可能擁有的人工智慧系統將強大得難以想象。
當然，它們在數量上將是超人。到本世紀末，我們將擁有數億個 GPU ，能夠執行數十億個 GPU 組成的文明，它們的“思考”速度將比人類快幾個數量級。它們將能夠快速掌握任何領域，編寫數萬億行程式碼，閱讀所有科學領域的每篇研究論文（它們將是完美的跨學科！）並在你讀完一篇摘要之前就寫出新的論文，從每一份副本的平行經驗中學習，在幾周內透過一些新創新獲得相當於人類數十億年的經驗，100％ 的時間以最佳精力和專注度工作，不會因為某個落後的隊友而放慢速度，等等。
更重要的是——但更難想象——它們將在質量上超越人類。舉一個狹義的例子，大規模強化學習執行已經能夠產生超出人類理解的全新和創造性行為，比如AlphaGo 與李世石對決中著名的第 37 步。超級智慧將在許多領域實現這一點。它會在人類程式碼中發現人類無法察覺的細微漏洞，它會生成人類無法理解的複雜程式碼，即使模型花費數十年時間試圖解釋它。
預計爆炸性進展將擴大：
- 人工智慧能力大爆發。 也許我們最初的 AGI 存在一些侷限性，導致它們無法完全自動化其他領域的工作（而不僅僅是人工智慧研究領域）；自動化人工智慧研究將很快解決這些問題，使任何認知工作都實現自動化。
- 解決機器人問題。 超級智慧不會長期停留在純粹的認知階段。讓機器人正常工作主要是 ML 演算法問題（而不是硬體問題），我們的自動化 AI 研究人員很可能能夠解決這個問題（下文詳述）。工廠將從人工運營轉變為使用人工體力勞動的 AI 指揮，很快將完全由機器人群運營。
- 大大加快科學技術進步。是的，愛因斯坦一個人無法發展神經科學並建立半導體產業，但十億超級智慧自動化科學家、工程師、技術專家和機器人技術人員（機器人的移動速度是人類的 10 倍甚至更高！）將在數年內在許多領域取得非凡的進步。（這裡有一個簡短的故事，形象地展示了人工智慧驅動的研發可能是什麼樣子。）十億超級智慧將能夠將人類研究人員在下個世紀所做的研發工作壓縮到幾年內。想象一下，如果 20 世紀的技術進步被壓縮到不到十年的時間。我們將在幾年內從被認為是海市蜃樓的飛行，到飛機，再到登月和洲際彈道導彈。這就是我預計 2030 年代科學和技術領域的情況。
- 工業和經濟爆炸式增長。 極速的技術進步，加上所有人類勞動的自動化能力，可以大大加速經濟增長（想想：自我複製的機器人工廠迅速覆蓋整個內華達沙漠）。增長率可能不會只是從每年 2% 提高到每年 2.5%；相反，這將是增長機制的根本性轉變，更類似於工業革命時期從非常緩慢的增長到每年幾個百分點的歷史性轉變。我們可以看到經濟增長率達到每年 30% 甚至更高，很可能每年翻一番。這與經濟學家的經濟增長模型相當直接。
- 提供決定性的、壓倒性的軍事優勢。 即使是早期的認知超級智慧也可能足夠了；也許一些超人的駭客計劃可以摧毀敵方軍隊。無論如何，軍事力量和技術進步在歷史上一直緊密相連，而隨著技術的飛速進步，軍事革命也將隨之而來。無人機群和機器人軍隊將是一件大事，但它們只是開始；我們應該期待全新的武器，從新型大規模殺傷性武器到堅不可摧的鐳射導彈防禦系統，再到我們目前無法想象的東西。與超級智慧出現之前的武器庫相比，這就像 21 世紀的軍隊與 19 世紀的馬匹和刺刀旅作戰。
- 能夠推翻美國政府。 誰控制了超級智慧，誰就很可能擁有足夠的力量從前超級智慧力量手中奪取控制權。即使沒有機器人，超級智慧的小文明也能夠入侵任何不設防的軍事、選舉、電視等系統，巧妙地說服將軍和選民，在經濟上勝過民族國家，設計新的合成生物武器，然後用比特幣付錢給人類來合成，等等。他們沒有神一般的力量，但舊世界的技術優勢以及戰略和外交手段的優勢讓他們獲得了絕對決定性的優勢。超級智慧可能看起來很相似。
智慧爆炸和後超級智慧時期將是人類歷史上最動盪、最緊張、最危險和最瘋狂的時期之一。
到本世紀末，我們很可能將身處其中。
面對智慧爆炸的可能性--超級智慧的出現--常常與早期圍繞核鏈式反應的可能性以及由此產生的原子彈的爭論相呼應。
- 威爾斯（HG Wells）在 1914 年的一部小說中預言了原子彈的出現。
- 1933 年，當斯齊拉德首次構想出鏈式反應的概念時，他無法說服任何人，因為那純粹是理論。
- 1938 年裂變被實證發現後，西拉德再次驚慌失措，極力主張保密，一些人開始意識到原子彈的可能性。
- 愛因斯坦沒有考慮過鏈式反應的可能性，但當西拉德與他對質時，他很快就看到了其中的含義，並願意做任何需要做的事；他願意敲響警鐘，而且不怕聽起來愚蠢。
- 但費米、玻爾和大多數科學家認為，"保守 "的做法是淡化它，而不是認真對待原子彈可能性的非凡意義。保密（以避免與德國人分享他們的進展）和其他全力以赴的努力在他們看來是荒謬的。
鏈式連鎖反應聽起來太瘋狂了（即使事實證明，原子彈距離成為現實只有半年時間）。
- 我們必須再次面對連鎖反應的可能性。
- 也許對你來說，這聽起來是一種推測。
- 但在人工智慧實驗室的資深科學家中，許多人認為智慧的快速爆炸是非常有可能發生的。
- 他們看得見。超級智慧是可能的。