composer：2-4倍加速神經網路訓練的演算法庫

banq發表於2022-03-20
神經網路演算法

Composer 是一個用 PyTorch 編寫的庫，使您能夠以更低的成本和更高的準確度更快地訓練神經網路。
已經實現了兩倍以上的加速方法，只需幾行程式碼即可應用於您的訓練迴圈，或與內建 Trainer 一起使用。
特點：
  • 20 多種加速計算機視覺和語言建模訓練網路的方法。當 Composer 為您完成工作時，不要浪費時間嘗試複製研究論文。
  • 一個易於使用的培訓師，其編寫的目的是儘可能提高效能，並整合了有效培訓的最佳實踐。
  • 我們所有加速方法的功能形式，允許您將它們整合到您現有的訓練迴圈中。
  • 強大、可重複的基線，讓您儘快開始。

Composer 可讓您訓練：
  • ResNet-101 在 ImageNet 上的準確率在 1 小時 30 分鐘內達到 78.1%（AWS 上 49 美元），比基線快 3.5 倍，便宜 71%。
  • ResNet-50 在 ImageNet 上的準確率在 1 小時 14 分鐘內達到 76.51%（AWS 上 40 美元），比基線快 2.9 倍，便宜 65%。
  • 在 4 小時 27 分鐘內將 GPT-2 在 OpenWebText 上的困惑度提高到 24.11（AWS 上 145 美元），比基線快 1.7 倍，便宜 43%。

Composer 具有一個函式介面（類似於torch.nn.functional），您可以將其整合到您自己的訓練迴圈中，以及一個訓練器，它可以為您將高效的訓練演算法無縫整合到訓練迴圈中。
  
作者Jonathan Frankle的話：
Composer是我對彩票假說的研究的直接延續。

深度學習背後的數學並沒有什麼神聖的東西。從根本上改變數學是完全可以的（比如刪除很多權重）。你會得到一個與之不同的網路，但這並不意味著原來的網路是 "正確 "的。如果改變數學就能得到一個同樣好的網路（例如，同樣的準確性），但速度更快，這就是勝利。

彩票假說是一個例子，說明如果你願意打破深度學習背後的數學，就有可能實現。Composer有幾十種這樣做的技術，並有相應的速度提升。

編輯：我是Jonathan Frankle，我寫了《彩票假說》的論文，我是Mosaic（Composer背後的人）的首席科學家。顯然是即興的AMA--我將在這裡呆上一整天，幫助人們瞭解我們在Composer方面的工作!
 

相關文章