無論用什麼框架訓練的模型，推薦轉為onnx格式，方便部署。
支援onnx模型的框架如下：
- TensorRT：英偉達的，用於GPU推理加速。注意需要英偉達GPU硬體的支援。
- OpenVino：英特爾的，用於CPU推理加速。注意需要英特爾CPU硬體的支援。
- ONNXRuntime：微軟，亞馬遜 ，Facebook 和 IBM 等公司共同開發的，可用於GPU、CPU
- OpenCV dnn：OpenCV的呼叫模型的模組
pt格式的模型，可以用Pytorch框架部署。
推理效率上：TensorRT>OpenVino>ONNXRuntime>OpenCV dnn>Pytorch
由於電腦只有CPU，因此研究下OpenVino、ONNXRuntime、OpenCV dnn的C++使用。
https://blog.csdn.net/grape_yan/article/details/130241872