[Triton課程筆記] 2.2.3 BLS續

大师兄啊哈發表於2024-06-26

課程連結:https://www.bilibili.com/video/BV1ta411u7Zx/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

一、BLS同步程式碼講解

二、BLS非同步模式

三、BLS執行機制

四、BLS注意事項

  • 記憶體複製開銷:
  • CPU pipeline,輸入複製一次,輸出複製兩次;
  • GPU pipeline,使用cudaIPC,很小開銷;
  • BLS不支援併發進行的pipeline,只能順序執行;
  • 設定FORCE_CPU_ONLY_INPUT_TENSORS引數來避免CPU-GPU複製;

五、總結

相關文章