遺憾不？原來百度2017年就研究過Scaling Law，連Anthropic CEO靈感都來自百度

机器之心發表於2024-11-27

原來早在 2017 年，百度就進行過 Scaling Law 的相關研究，並且透過實證研究驗證了深度學習模型的泛化誤差和模型大小隨著訓練集規模的增長而呈現出可預測的冪律 scaling 關係。只是，他們當時用的是 LSTM，而非 Transformer，也沒有將相關發現命名為「Scaling Law」。

在追求 AGI 的道路上，Scaling Law 是繞不開的一環。

如果 Scaling Law 撞到了天花板，擴大模型規模，增加算力不能大幅提升模型的能力，那麼就需要探索新的架構創新、演算法最佳化或跨領域的技術突破。

作為一個學術概念，Scaling Law 為人所熟知，通常歸功於 OpenAI 在 2020 年發的這篇論文：

論文標題：Scaling Laws for Neural Language Models
論文連結：https://arxiv.org/pdf/2001.08361

論文中詳細地論證了模型的效能會隨模型引數量、資料量、計算資源增加而指數提升。後來的幾年裡，OpenAI 作為整個大模型領域的技術引領者，也將 Scaling Law 充分地發揚光大。

但關於我們今天所談論的 Scaling law，它是怎麼被發現的，誰最早發現的，又是哪個團隊最早驗證的，似乎很少有人去考據。

近日，Anthropic 的 CEO Dario Amodei 在播客中講述了一個出人意料的版本。

^{圖源：https://xueqiu.com/8973695164/312384612。釋出者：@pacificwater}

我們可能更瞭解 Dario 在 2016 年之後的經歷。他加入了 OpenAI，擔任研究副總裁，負責公司的安全工作，並領導團隊開發了 GPT-2 和 GPT-3。

然而，2020 年底，由於對 OpenAI 的發展方向產生分歧， Dario 選擇離開，並於 2021 年 2 月與妹妹共同創立了 Anthropic。

如今，Anthropic 推出的 Claude 已成為挑戰 GPT 系列霸主地位的最有力競爭者。

不過，Dario 原本的研究方向是神經迴路，他第一次真正進入 AI 領域是在百度。

從 2014 年 11 月到 2015 年 10 月，Dario 在百度工作了一年 —— 正好是吳恩達在百度擔任首席科學家，負責「百度大腦」計劃的時期。

他們當時在研發語音識別系統。Dario 表示，儘管深度學習展示了很大潛力，但其他人仍然充滿疑慮，認為深度學習還不足以達到預期的效果，且距離他們所期待的與人類大腦相匹配的框架還有很長的距離。

於是，Dario 開始思考，如果把百度用於語音的迴圈神經網路做得更大，增加更多的層數會怎樣？同時擴大資料量又會怎樣呢？

在不斷的嘗試中，Dario 觀察到了隨著給模型投入越多的資料、計算和訓練，它們的表現就越好，「那時我沒有精確地測量，但與同事們一起，我們非常直觀地能感受到。」

但 Dario 和同事們也沒深究，Dario 覺得：「也許這隻對語音識別系統有效，也許這只是一個特定領域的特殊情況。」

直到 2017 年，他在 OpenAI 第一次看到 GPT-1 的訓練結果時，他才意識到這種「越多越好」的規則同樣適用於語言資料。而計算資源的增加，托起了 Scaling Law 生效的底層邏輯。

真理是不會只屬於一個人的，最終它會被每個人發現。

當時有一批人都意識到了 Scaling Law 的存在，比如 Ilya Sutskever、「RL 教父」Rich Sutton、Gwern Branwen。

百度也在 2017 年發了一篇論文：「DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY」，展示了在機器翻譯、語言建模、影像處理和語音識別等四個領域中，隨著訓練集規模的增長，DL 泛化誤差和模型大小呈現出冪律增長模式。

《NLP with Transformers》的作者 Lewis Tunstall 發現，OpenAI 在 2020 發表的《Scaling Laws for Neural Language Models》引用了百度論文一作 Joel Hestness 在 2019 年的後續研究，卻沒發現 Hestness 早在 2017 年就研究過同類問題。

DeepMind 的研究科學家 @SamuelMLSmith 表示，原來在 NeurIPS 和 Hestness 線下交流過。但兩年後 Scaling Laws 論文發表時，他對關注過這個問題，但沒發論文的自己很生氣。

而同期注意到 Scaling Law 的 Gwern Branwen，也經常提起百度的這篇論文確實被忽視了。

百度 2017 年的論文寫了啥？

這篇題為「DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY（深度學習擴充套件的可預測性：經驗性研究）」釋出於 2017 年。當時，機器學習先驅 Rich Sutton 還沒有釋出他的經典文章《苦澀的教訓》（釋出時間是 2019 年）。

論文連結：https://arxiv.org/abs/1712.00409

論文提到，當時，深度學習社群已經透過遵循一個簡單的「配方」在不同的應用領域取得了具有影響力的進展。這個「配方」如今大家已非常熟悉，即尋找更好的模型架構、建立大型訓練資料集以及擴充套件計算。

透過分解「配方」，百度的研究者注意到，尋找更好的模型架構困難重重，因為你要對建模問題進行復雜或創造性的重構，這就涉及大規模的超引數搜尋。所以，架構方面的創新很多時候要依賴「頓悟」，具有極大的偶然性。如果只把精力放在這上面，風險勢必很高。

為了降低風險，百度的研究者提到，「配方」的另外兩個部分 —— 建立大型訓練集和擴充套件計算 —— 是非常值得去研究的，因為這兩個方面的進展明顯更加可控。而且，「只需使用更多資料來訓練更大的模型，就能提高準確率」已經成為一個共識。不過，百度想更進一步，分析訓練集規模、計算規模和模型準確性提高之間的關係。他們認為，準確預測泛化誤差隨訓練集規模擴大的變化規律，將提供一個強大的工具，以估計推進 SOTA 技術所需的成本，包括資料和計算資源的需求。

在此之前，也有不少研究者進行了類似研究，分析了達到期望泛化誤差所需的樣本複雜度，但論文中提到，這些結果似乎不足以準確預測實際應用中的誤差 scaling 規律。還有一些研究從理論上預測泛化誤差「學習曲線」呈冪律形式，即 ε(m) ∝

。在這裡，ε 是泛化誤差，m 是訓練集中的樣本數量，α 是問題的一個常數屬性。β_g= −0.5 或−1 是定義學習曲線陡峭度的 scaling 指數 —— 即透過增加更多的訓練樣本，一個模型家族可以多快地學習。不過，在實際應用中，研究者發現，β_g 通常在−0.07 和−0.35 之間，這些指數是先前理論工作未能解釋的。

在這篇論文中，百度的研究者提出了當時最大規模的基於實證的學習曲線特徵描述，揭示了深度學習泛化誤差確實顯示出冪律改進，但其指數必須透過實證進行預測。作者引入了一種方法，能夠準確預測隨著訓練集規模增加而變化的泛化誤差和模型大小。他們使用這種方法來估計四個應用領域（機器翻譯、語言建模、影像分類和語音識別）中的六個深度神經網路模型的 scaling 關係。

他們的結果顯示，在所有測試的領域中都存在冪律學習曲線。儘管不同的應用產生了不同的冪律指數和截距，但這些學習曲線跨越了廣泛的模型、最佳化器、正則化器和損失函式。改進的模型架構和最佳化器可以改善冪律截距，但不影響指數；單一領域的模型顯示出相同的學習曲線陡峭度。最後，他們發現模型從小訓練集區域（主要由最佳猜測主導）過渡到由冪律 scaling 主導的區域。有了足夠大的訓練集，模型將在主要由不可約誤差（例如貝葉斯誤差）主導的區域達到飽和。