[Triton課程筆記] 1.2.4 程式設計實戰-配置ensemble model

大师兄啊哈發表於2024-06-26

課程連結:https://www.bilibili.com/video/BV1tt4y1h75i/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618

一、例子1

圖片-預處理模型-分別進入不同的模型-輸出不同的結果。

定義模型的輸入輸出,然後在ensemble_scheduling中定義不同的步驟,其中step中的key是本身的input/output tensor的名字;value是ensemble model中的Tensor名字。

配置寫完後,在ensemble_model的目錄只能夠新建一個版本目錄,裡面為空,然後放config檔案。

注意事項:

  • 如果組合裡有一個是stateful 模型,那麼整個pipeline都成為stateful 模型,推理請求需要符合stateful model的規則。
  • 每個子模組有各自的排程器。
  • 如果每個子模組都是framework backend,則傳輸使用GPU進行,否則可能透過cpu 記憶體。

二、例子2

語音識別流程。

三、例子3

預處理-分支1分割模型-分支2fcn分割-合併拼接

相關文章