OpenAI CEO表示巨型AI模型時代已經結束

來自初創公司 OpenAI 的 ChatGPT 令人驚歎，其強大功能引發了人們對人工智慧的新興趣和投資熱潮。然而，上週末，OpenAI CEO 警告說，孕育出這款聊天機器人的研究策略已經過時了。未來方向在哪兒還不清楚。

OpenAI 近年來透過將現有的機器學習演演算法擴充套件到前所未有的規模，實現了一系列令人印象深刻的語言處理人工智慧的進步。GPT-4 是這些專案的最新成果，可能使用了數萬億字的文字和數千個強大的計算機晶片進行訓練。這個過程的成本超過了 1 億美元。

然而，公司 CEO Sam Altman 表示，更進一步的發展不會來自於製作更大的模型。“我認為我們已經到了這種大型、大型模型的時代尾聲。” 他在上週末在麻省理工學院舉行的一場活動上告訴聽眾。“我們將以其他方式使它們變得更好。”

Altman 的宣告暗示了在開發和部署新 AI 演演算法競賽中一個意想不到的轉折。自從 OpenAI 在 11 月推出 ChatGPT 以來，微軟已經利用其底層技術為其 Bing 搜尋引擎增加了一個聊天機器人，谷歌也推出了一個名為 Bard 的聊天機器人來與微軟競爭。許多人爭先恐後地嘗試使用新一代聊天機器人來協助完成工作或個人任務。

與此同時，許多資金充足的初創公司，包括 Anthropic、AI21、Cohere 和 Character.AI，都在投入大量資源，試圖建立更大的演演算法以迎頭趕上 OpenAI 的技術。最初的 ChatGPT 是基於 GPT-3 稍作升級的版本，但使用者現在也可以使用由更強大的 GPT-4 驅動的版本。

Altman 的宣告表明，GPT-4 可能是 OpenAI 透過擴大模型規模和提供更多資料的策略實現的最後一個重大突破。他沒有說明可能取代這種策略的研究方法或技術。在描述 GPT-4 的論文中，OpenAI 表示，其估計結果表明，模型規模的擴大將帶來收益的遞減。Altman 還表示，公司建造資料中心的數量和速度也存在物理限制。

Cohere 的聯合創始人 Nick Frosst，此前曾在谷歌從事人工智慧工作，他表示贊同 Altman 的觀點，即不斷擴大規模並不是永久性的解決方案。他還認為，基於 Transformer(一種機器學習模型，是 GPT-4 及其競爭對手的核心)的機器學習模型的進步超越了擴充套件。他說：“有很多方法可以使 Transformer 變得更好、更有用，而其中很多方法並不涉及為模型新增引數。”Frosst 表示，新的人工智慧模型設計或架構以及基於人類反饋的進一步調整，是許多研究人員已經在探索的有前景的方向。

OpenAI 頗具影響力的語言演演算法家族的每個版本都包含一個人工神經網路，這是一種受神經元協同工作方式啟發的軟體，用於訓練預測給定文字串後應該出現的單詞。

這些語言模型的第一個版本 GPT-2 於 2019 年釋出。它擁有 150 億個引數，這是衡量其原始人工神經元之間可調連線數量的指標。

當時，與之前的系統相比，這是一個非常龐大的模型，這在很大程度上要歸功於 OpenAI 研究人員發現，擴大模型可以使其更加連貫。此外，該公司還推出了 GPT-2 的繼任者 ——2020 年釋出的 GPT-3，其引數數量更是高達 1750 億。這個系統能夠生成詩歌、電子郵件和其他文字，使用範圍更廣，這使得其他公司和研究機構深信，將他們自己的 AI 模型發展到與之類似或者更強大是可行的。

ChatGPT 於 11 月份亮相後，製造者和科技評論家紛紛猜測，GPT-4 的到來將帶來一個令人目不暇接的龐大且複雜的模型。然而，當 OpenAI 最終宣佈這個新的人工智慧模型時，該公司並沒有透露它有多大 —— 也許是因為規模已經不再是唯一重要的因素。在麻省理工學院的活動中，有人問 Altman，訓練 GPT-4 花費了 1 億美元嗎?他回答道：“實際上，這個數字要比這還要大。”

儘管 OpenAI 對 GPT-4 的規模和內部工作原理保密，但可以肯定的是它的部分智慧已經超越了單純的規模。有可能的一種方法是使用 “人類反饋強化學習”，這種方法曾用於改進 ChatGPT。它讓人類評判模型回答的質量，從而引導模型提供更有可能被評為高質量的回答。

GPT-4 強大的功能令一些專家感到震驚，並引發了關於 AI 如何改變經濟、傳播虛假資訊以及消滅就業機會的爭論。一些 AI 專家、科技企業家(包括 Elon Musk)以及科學家最近聯名發表了一封公開信，呼籲暫停開發比 GPT-4 更強大的技術六個月。

上週在麻省理工學院，Altman 證實他的公司目前並未研發 GPT-5。他說：“公開信的早期版本聲稱 OpenAI 正在訓練 GPT-5。實際上我們並沒有，而且在一段時間內都不會。”