有研究預計，如果 LLM 保持現在的發展勢頭，預計在 2028 年左右，已有的資料儲量將被全部利用完。屆時，基於大資料的大模型的發展將可能放緩甚至陷入停滯。 來自論文《Will we run out of data? Limits of LLM scaling based on human-generated data》 但似乎我們不必等到 2028 年了。昨天，The Information 釋出了一篇獨家報導《隨著 GPT 提升減速，OpenAI 改變策略》，其中給出了一些頗具爭議的觀點：
OpenAI 的下一代旗艦模型的質量提升幅度不及前兩款旗艦模型之間的質量提升；
AI 產業界正將重心轉向在初始訓練後再對模型進行提升；
OpenAI 已成立一個基礎團隊來研究如何應對訓練資料的匱乏。
文章釋出後，熱議不斷。OpenAI 著名研究科學家 Noam Brown 直接表示了反對（雖然那篇文章中也引用了他的觀點）。他表示 AI 的發展短期內並不會放緩。並且他前些天還在另一篇 X 推文中表示，對於 OpenAI CEO 山姆・奧特曼的 AGI 發展路徑已經清晰的言論（「事情的發展速度將比人們現在預想的要快得多」），OpenAI 的大多數研究者都表示比較認同。著名 X 博主 @apples_jimmy 甚至直斥之為 Fake News，畢竟奧特曼說過 AGI 很快就要實現了。OpenAI 的 Adam GPT 則給出了更詳細的反對意見。他表示大模型的 scaling laws 和推理時間的最佳化是兩個可以互相增益的維度。也就是說就算其中一個維度放緩，也不能得出 AI 整體發展放緩的結論。OpenAI 產品副總裁 Peter Welinder 也認同上述看法。當然，也有人認同 The Information 這篇文章的觀點，比如一直有類似觀點的 Gary Marcus 表示這篇文章宣告了自己的勝利。資料科學家 Yam Peleg 也表示某前沿實驗室的 scaling laws 出現了巨大的（HUGE）受益遞減問題。大多數吃瓜群眾基本認同 OpenAI 相關人士公開發布的意見，畢竟該公司雖然存在無數的爭議和八卦，但目前仍舊是當之無愧的行業領導者。也就是說，相比於媒體揣測，OpenAI 的話會更可信一些。不過有意思的是，The Information 這篇報導也宣稱很多資訊來自 OpenAI 內部員工和研究者。當然，該媒體沒有給出具體的資訊源。下面我們就來看看這篇引發廣泛的爭議的報導究竟說了什麼。 使用 ChatGPT 和其他人工智慧產品的人數正在飆升。不過，支撐這些產品的基本構建模組的改進速度似乎正在放緩。 為了彌補這種減速，OpenAI 正在開發新技術來增強這些構建模型，即大型語言模型。 據一位知情人士透露，儘管 OpenAI 只完成了 Orion 訓練過程的 20%，但奧特曼表示，在智慧和完成任務和回答問題的能力方面，它已經與 GPT-4 不相上下。 據一些使用或測試過 Orion 的 OpenAI 員工稱，雖然 Orion 的效能最終會超過之前的型號，但相比於該公司釋出的最新兩款旗艦模型 GPT-3 和 GPT-4 之間的飛躍，質量的提升要小得多。 據這些員工稱，該公司的一些研究者認為，在處理某些任務方面，Orion 並不比其前代模型更好。據 OpenAI 的一名員工稱，Orion 在語言任務上表現更好，但在程式設計等任務上可能不會勝過之前的模型。其中一位員工表示，這可能是一個問題，因為與 OpenAI 之前釋出的其他模型相比，Orion 在 OpenAI 資料中心執行的成本可能更高。 Orion 的情況可以檢驗人工智慧領域的一個核心假設，即 scaling laws：只要有更多資料可供學習，並有更多的計算能力來促進訓練過程，LLM 就能繼續以相同的速度提升效能。 為了應對近期 GPT 提升放緩對基於訓練的 scaling laws 帶來的挑戰，AI 行業似乎正在將精力轉向訓練後對模型進行改進，這可能會產生不同型別的 scaling laws。 包括 Meta 的馬克・祖克伯在內的一些 CEO 表示，在最壞的情況下，即使當前技術沒有進步，仍有很大空間在現有技術的基礎上構建消費者和企業產品。 例如，OpenAI 正忙於將更多的程式設計功能融入其模型中，以抵禦來自競爭對手 Anthropic 的重大威脅。後者正在開發一種軟體，其可以接管使用者電腦，透過像人類一樣執行點選、游標移動、文字輸入來使用不同的應用程式，從而完成涉及網路瀏覽器活動或應用程式的白領工作。 這些產品是向處理多步驟任務的 AI 智慧體邁進的一部分，可能與 ChatGPT 最初發布時一樣具有革命性。 此外，祖克伯、奧特曼和其他 AI 開發商的執行長也公開表示，他們尚未達到傳統 scaling laws 的極限。因此，OpenAI 等公司仍在開發昂貴的、價值數十億美元的資料中心，以儘可能多地提升預訓練模型的效能。 然而，OpenAI 研究者 Noam Brown 上個月在 TEDAI 大會上表示，更先進的模型可能在經濟上不可行。 「畢竟，我們真的要花費數千億美元或數萬億美元訓練模型嗎？」 Brown 說。「在某個時候，scaling 正規化會崩潰。」 OpenAI 尚未完成對 Orion 的安全性的漫長測試過程。其員工們表示，OpenAI 明年初發布 Orion 時，可能不再採用其旗艦模型的傳統「GPT」命名慣例，進一步凸顯 LLM 改進方式的變化。（OpenAI 發言人沒有對此發表評論。） 撞上資料南牆 OpenAI 員工和研究者表示，GPT 速度放緩的原因之一是高質量文字和其他資料的供應量正在減少，而這些資料是 LLM 預訓練所必需的。 他們表示，在過去幾年中，LLM 使用來自網站、書籍和其他來源的公開文字和其他資料進行預訓練，但模型開發者基本上已經從這類資料中榨乾了儘可能多的資源。作為回應，OpenAI 成立了一個基礎團隊，由之前負責預訓練的 Nick Ryder 領導。他們表示，該團隊將研究應對訓練資料的匱乏，以及大模型的擴充套件定律將持續到什麼時候。 據 OpenAI 的一名員工稱，Orion 部分接受了 AI 生成的資料的訓練，這些資料由其他 OpenAI 模型生成，包括 GPT-4 和最近釋出的推理模型。然而，這位員工表示，這種合成資料導致了一個新問題，即 Orion 最終可能會在某些方面與那些舊模型相似。 風險投資人 Ben Horowitz 表示：「我們正在以同樣的速度增加『用於訓練 AI 的 GPU 數量』，但我們並沒有從中獲得任何智慧改進。」 OpenAI 研究人員正在利用其他工具在訓練後過程中改進 LLM，透過改進它們處理特定任務的方式。研究人員透過讓模型從大量已被正確解決的問題（如數學或程式碼問題）中學習來實現這一目標，這一過程稱為強化學習。 他們還要求人類評估人員在特定的程式碼或複雜問題任務上測試預訓練模型，並對答案進行評分，這有助於研究人員調整模型以改進其對某些型別請求（例如寫作或程式碼）的回答水平。這個過程稱為帶有人類反饋的強化學習（RLHF），也為較舊的人工智慧模型提供了幫助。 為了處理這些評估，OpenAI 和其他人工智慧開發人員通常依靠 Scale AI 和 Turing 等初創公司來管理數千名承包商。 隨著 OpenAI 技術的演進，研究人員繼續開發出了名為 o1 的推理模型，該模型需要更多時間「思考」LLM 訓練的資料，然後才能給出答案，這一概念稱為測試時間計算。 這意味著，如果在模型回答使用者問題時為其提供額外的計算資源，即使不更改底層模型，o1 的響應質量也可以繼續提高。一位瞭解這一過程的人士表示，如果 OpenAI 能夠不斷提高底層模型的質量，即使速度較慢，也能產生更好的推理結果。 「這為大模型的擴充套件開闢了一個全新的維度，」Brown 在 TEDAI 會議上表示。研究人員可以透過將「每個查詢花費一分錢提到每個查詢花費一毛錢」來改善模型響應。 奧特曼也強調了 OpenAI 推理模型的重要性，它可以與 LLM 相結合。 「我希望推理能解鎖很多我們等待多年的事情 —— 例如，像這樣的模型能夠為科學研究做出貢獻，幫助編寫更多非常困難的程式碼，」奧特曼在 10 月的一次應用開發者活動中說道。在最近接受 Y Combinator 執行長 Garry Tan 採訪時，奧特曼表示，「我們基本上知道該怎麼做」才能實現通用人工智慧，即與人類智力相當的技術 —— 其中的一部分涉及「以創造性的方式使用現有模型」。 數學家和其他科學家表示，o1 對他們的工作很有幫助，因為它可以充當可以提供反饋或想法的夥伴。但兩位瞭解情況的員工表示，該模型目前的價格比非推理模型高出六倍，因此它還沒有廣泛的客戶群。 「突破漸近線」 一些向人工智慧開發者投入了數千萬美元的投資者懷疑，大語言模型的進步速度是否開始趨於平穩。 Ben Horowitz 的風險投資公司已經投資了 OpenAI、Mistral 和 Safe Superintelligence 等公司，他在 YouTube 頻道里表示：「我們正在以同樣的速度增加『用於訓練人工智慧的 GPU』的數量，但我們根本沒有從中獲得智慧改進。」 Horowitz 的同事 Marc Andreessen 在同一影片中則表示，「有很多聰明人正在努力突破漸近線，想辦法達到更高水平的推理能力。」 企業軟體公司 Databricks 的聯合創始人兼主席聯合開發者 Ion Stoica 表示，大模型的表現可能在某些方面已經停滯，但在其他方面仍在進步。 Stoica 表示，儘管大模型在程式碼和解決複雜、多步驟問題等任務方面不斷改進，但其在執行通用任務（如分析一段文字的情感或描述醫療問題的症狀）方面似乎進展緩慢。 「對於常識性問題，你可以說，目前我們看到 LLM 的表現停滯不前。我們需要 [更多] 事實資料，而合成資料沒有太大幫助，」他說道。 你覺得 AI 發展的 scaling laws 速度放緩了嗎？推理時間計算能否成為新的效能提升來源？請與我們分享你的觀點。 參考連結：https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slowshttps://www.youtube.com/watch?v=xXCBz_8hM9whttps://arxiv.org/abs/2211.04325https://www.youtube.com/watch?v=hookUj3vkE4