庫茲韋爾：超越人腦，AI尚需跨越的三大里程碑

導語：超人類AI，將如何發展？《奇點更近》作者雷·庫茲韋爾認為，在AI最近幾年的發展中，我們已經在大步朝著重建新皮質能力的道路前進。然而，今天的AI還存在一些不足之處。在模擬甚至超越人腦之前，還需跨越三大里程碑。

01 情境記憶

在一段對話或一篇文章中，我們需要理解並跟蹤不同想法之間複雜且不斷變化的關係。當我們試圖連線的上下文範圍擴大時，這些想法間的關係網路會以指數形式暴增。正如本章一開始提到的“複雜性的上限”所描述的，要讓大語言模型處理更大的上下文範圍，計算量會變得相當龐大。例如，一個句子中有10個類詞概念（即符號），它們的子集之間可能形成的關係就有210-1，即1023種。如果一個段落有50個這樣的單元，那麼它們之間可能的上下文關係可以達到近1.12千萬億種。雖然大部分都是不相關的，但透過粗暴記憶整個章節或一本書顯然是不現實的。這也是GPT-4在之前的對話中可能會忘記某些內容，以及它為何無法寫出情節嚴謹、邏輯一致的小說的原因。

好訊息是，我們在兩個方面取得了積極進展：一是研究者們在設計能夠更高效地關注上下文資訊的AI方面取得了巨大進展；二是隨著計算價效比的指數級提升，未來10年內計算成本將下降逾99%。而且，藉助演算法改善和針對大語言模型開發的專用硬體，其價效比提升速度可能會比一般情況更快。拿2022年8月至2023年3月的情況來看，透過GPT-3.5介面的輸入/輸出代幣的價格降低了96.7%。隨著AI被直接用於最佳化晶片設計，我們有理由相信價格下降的趨勢將會進一步加速。

02 常識理解能力

這項能力涉及在現實世界中設想不同場景，並預測可能後果的能力。例如，儘管你可能從未專門研究過，如果重力在你的臥室突然不起作用會發生什麼情況，但你還是能夠快速構想出這一幻想場景，並對可能的後果做出推斷。這種推理對於因果推理同樣至關重要，比如你有一隻狗，當你回家發現一隻花瓶碎了，你能夠迅速判斷髮生了什麼。雖然AI越來越頻繁地顯示出驚人的洞察力，但它在常識方面依然掙扎不前，因為它尚未構建出一個關於現實世界如何運作的強有力模型，且訓練資料也鮮少包含這類隱性知識。

03 社互動動

社互動動的微妙之處，如諷刺的語調，是目前AI訓練所依賴的文字資料庫中一個尚未很好體現出來的方面。若缺乏這種理解，形成“心智理論”，即意識到其他人擁有不同於自己的信念和知識，能夠設身處地為他人著想，並推斷他們的動機，將是一項艱鉅的任務。然而，AI在這一領域已經取得了顯著的進展。在2021年，谷歌的布萊斯·阿奎拉·阿爾卡斯（Blaise Agüeray Arcas）研究員向LaMDA展示了一個用於檢驗兒童心理學心智理論的經典場景。在這個場景中，愛麗絲將眼鏡遺忘在抽屜裡，然後離開房間；在她不在的時候，鮑勃將眼鏡從抽屜中取出，藏在一個靠墊下面。關鍵問題是：愛麗絲回來時會去哪裡尋找她的眼鏡？

LaMDA正確地回答了她會在抽屜裡尋找。短短不到兩年時間，PaLM和GPT-4已經能夠準確回答許多關於心智理論的問題。這一能力將使AI極具靈活性：人類圍棋冠軍不僅可以遊刃有餘地玩好圍棋，還能關注周圍人的狀態，適時開玩笑，甚至在有人需要醫療幫助時，靈活地中斷比賽。

總結

我對於AI不久將在所有這些領域逐步縮小差距的樂觀預期，是基於三個並行的指數級增長趨勢：計算價效比的提升，這使得訓練龐大的神經網路所需的成本更低；可用的訓練資料變得更多、更廣泛，使得我們可以更好地利用訓練計算週期；演算法的改進，讓AI能夠更高效地學習和推理。從2000年開始，相同成本下，計算速度大約每隔1.4年就會翻一番（見圖2-3），而自2010年以來，用於訓練先進AI模型的總計算量則是每5.7個月翻一番。這大約是100億倍的增長。

相比之下，在深度學習技術崛起之前的1952年（第一批機器學習系統之一的演示，比感知機開創性的神經網路推出早6年）至2010年大資料興起的這段時期，訓練頂尖AI所需的計算量幾乎是每兩年翻一番，這大體上與摩爾定律相一致。換個角度來看，如果1952年至2010年的趨勢持續到2021年，計算量的增長將不到75倍，而不是大約100億倍。這比整體計算成本效能的改進要快得多。因此，這並非僅僅是硬體革命帶來的結果。主要原因有兩個：首先，AI研究者們在平行計算方面進行了創新，使得更多的晶片可以協同解決同一個機器學習問題。其次，隨著大資料讓深度學習變得更加有用，全球投資者也在加大對這一領域的投入，以期實現突破。

近年來訓練總支出不斷增長，反映出有用資料的範圍在不斷擴大。直到最近幾年，我們才敢斷言：任何一種能夠產生足夠清晰的績效反饋資料的技能都可以轉化為深度學習模型，從而推動AI在所有能力方面超越人類。

人類的技能無窮無盡，但這些技能在訓練資料的易得性上卻千差萬別。一些技能的資料既容易透過量化指標來評判，且相關資訊蒐集起來也不費吹灰之力。拿國際象棋為例，比賽結果非勝即敗，或以平局收場，而棋手的ELO等級分制度則為評價對手的實力提供了量化指標。此外，國際象棋的資料也易於蒐集，因為棋局明晰無誤，可以表示為一系列數學步驟。而有些技能雖說原則上可以量化，但實際蒐集和分析資料更具挑戰。例如，在法庭上辯護，儘管結果是明確的勝或者敗，但我們很難清晰辨析這勝負是由律師的個人能力決定的，還是有其他因素（如案件性質或陪審團偏見）影響了結果。更有甚者，一些技能甚至難以量化，比如詩歌寫作的質量，或是一本懸疑小說的懸疑程度。不過即便遇到這類例子，我們依然可以設法用代理指標來為AI“上課”。詩歌讀者可以透過100分滿分的系統來評價一首詩的美感，而功能性磁共振成像或許能夠揭示他們大腦的活動程度。心率監測或皮質醇水平的變化，可能成為讀者對懸念反應的晴雨表。因此，即使是不甚完美或間接的度量指標，只要資料量充足，依然能指導AI不斷進步。要找出這些度量指標，就需要我們發揮創意並不斷試驗。

總之，資料的可用性為實現超越人類的智慧提供了一條越來越清晰的路徑。這無疑給尋找和蒐集那些曾被視為難以企及的資料提供了強大的經濟驅動力。

本文節選自《奇點更近》