模型型別與加速潛力的關係

hzcya911發表於2020-10-27
模型型別

模型本身的型別也會對模型加速的潛力有影響，一個非常不嚴謹的大致印象是：加速潛力上卷積神經網路（CNN）> 迴圈神經網路（RNN）> 強化學習（RL）。CNN 由於每一層的卷積核（神經元）都可以平行計算，相對比較容易利用 GPU 的平行計算能力來加速，可以達到非常明顯的加速效果。RNN 因為存在時間依賴的序列結構，很多運算必須順序進行，因此 GPU 平行計算帶來的效能提升相對較少。RL 不僅存在時間依賴的序列結構，還要頻繁和環境互動（環境往往是基於 CPU 的模擬器），GPU 帶來的提升就更為有限。由於 CPU 和 GPU 之間的切換本身需要耗費資源，有些時候使用 GPU 進行強化學習反而在效能上明顯不如 CPU，尤其是一些模型本身較小而互動又特別頻繁的場景（比如多智慧體強化學習）。

相關文章