課程連結:https://www.bilibili.com/video/BV1tt4y1h75i/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618
一、例子1
圖片-預處理模型-分別進入不同的模型-輸出不同的結果。
定義模型的輸入輸出,然後在ensemble_scheduling中定義不同的步驟,其中step中的key是本身的input/output tensor的名字;value是ensemble model中的Tensor名字。
配置寫完後,在ensemble_model的目錄只能夠新建一個版本目錄,裡面為空,然後放config檔案。
注意事項:
- 如果組合裡有一個是stateful 模型,那麼整個pipeline都成為stateful 模型,推理請求需要符合stateful model的規則。
- 每個子模組有各自的排程器。
- 如果每個子模組都是framework backend,則傳輸使用GPU進行,否則可能透過cpu 記憶體。
二、例子2
語音識別流程。
三、例子3
預處理-分支1分割模型-分支2fcn分割-合併拼接