課程連結:https://www.bilibili.com/video/BV1tt4y1h75i/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618
一、例子1
![](https://img2024.cnblogs.com/blog/741682/202406/741682-20240626141212949-1408631656.jpg)
圖片-預處理模型-分別進入不同的模型-輸出不同的結果。
![](https://img2024.cnblogs.com/blog/741682/202406/741682-20240626141231722-154030087.jpg)
定義模型的輸入輸出,然後在ensemble_scheduling中定義不同的步驟,其中step中的key是本身的input/output tensor的名字;value是ensemble model中的Tensor名字。
配置寫完後,在ensemble_model的目錄只能夠新建一個版本目錄,裡面為空,然後放config檔案。
注意事項:
![](https://img2024.cnblogs.com/blog/741682/202406/741682-20240626141256105-1489397105.jpg)
- 如果組合裡有一個是stateful 模型,那麼整個pipeline都成為stateful 模型,推理請求需要符合stateful model的規則。
- 每個子模組有各自的排程器。
- 如果每個子模組都是framework backend,則傳輸使用GPU進行,否則可能透過cpu 記憶體。
二、例子2
![](https://img2024.cnblogs.com/blog/741682/202406/741682-20240626141316569-1930701614.jpg)
語音識別流程。
三、例子3
![](https://img2024.cnblogs.com/blog/741682/202406/741682-20240626141339092-602533804.jpg)
預處理-分支1分割模型-分支2fcn分割-合併拼接