使用tensorrt對ram++模型進行fp16精度加速指導

技术支持供货商發表於2024-04-02

加速流程:pytorch轉onnx,onnx轉trt

主要問題:trt-fp32可以直接轉換,但是trt-fp16精度會出現結果不一致,這主要是因為ram++模型中有大量的精度溢位操作,本人經過實踐,已經成功轉換。

該問題的解決方案提供付費支援,xianyu可拍

相關文章