近年來，訓練前沿人工智慧模型的成本急劇增長，但關於這些費用的規模和增長的公開資料有限。

分析顯示，自2016年以來，前沿模型最終訓練執行的攤銷硬體和能源成本以每年2.4倍的速度快速增長。Epoch AI還估算了開發關鍵前沿模型的成本分解，包括研發人員成本和實驗計算成本。大部分開發成本是硬體成本，佔47-67%，研發人員成本佔29-49%，其餘2-6%用於能源消耗。

如果培訓成本持續增長的趨勢持續下去，到2027年，最大規模的培訓將花費超過10億美元。

關鍵結果

Epoch AI的主要方法是基於硬體折舊和模型訓練期間的能源消耗來計算訓練成本。硬體成本包括AI加速晶片、伺服器、互聯硬體。Epoch AI使用來自開發人員或可信的第三方報告的資訊來識別或估計給定模型的硬體型別和數量以及訓練執行時間。Epoch AI還估計了在每個模型的最後訓練執行期間硬體的能量消耗。

使用該方法，Epoch AI估計了45個前沿模型的訓練成本，發現總體增長率為每年2.4倍。

作為一種替代方法，Epoch AI還計算了使用租用硬體在雲中訓練這些模型的成本。這種方法計算起來非常簡單，因為雲端計算提供商對每晶片小時收取統一的費用，能源和互連成本也計入了價格。

使用這種方法，Epoch AI發現每年的增長率非常相似，為2.6倍，但由此產生的成本估計平均約為硬體和能源平攤方法估計的兩倍。

影響

人工智慧培訓成本的快速增長帶來了重大挑戰。只有少數大型組織能夠跟上這些費用，這可能會限制創新，並將影響力集中在前沿人工智慧開發上。