課程連結:https://www.bilibili.com/video/BV1ta411u7Zx/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618
一、BLS同步程式碼講解
二、BLS非同步模式
三、BLS執行機制
四、BLS注意事項
- 記憶體複製開銷:
- CPU pipeline,輸入複製一次,輸出複製兩次;
- GPU pipeline,使用cudaIPC,很小開銷;
- BLS不支援併發進行的pipeline,只能順序執行;
- 設定FORCE_CPU_ONLY_INPUT_TENSORS引數來避免CPU-GPU複製;
五、總結