摘要：近日，昇騰AI聯合浦江實驗室，正式實現OpenMMLab演算法倉庫在昇騰的異構計算架構CANN上的推理部署，目前相關程式碼已推入MMDeploy 0.10.0版本，並在GitHub正式釋出。
本文分享自華為雲社群《昇騰攜手OpenMMLab，支援海量演算法倉庫的昇騰AI推理部署》，作者：昇騰CANN 。
近日，昇騰AI聯合浦江實驗室，正式實現OpenMMLab演算法倉庫在昇騰的異構計算架構CANN上的推理部署，目前相關程式碼已推入MMDeploy 0.10.0版本，並在GitHub正式釋出。
CANN是專門面向AI場景的異構計算架構，同時作為昇騰AI基礎軟硬體平臺的核心組成部分之一，搭起了從上層深度學習框架到底層AI硬體的橋樑，全面支援昇思MindSpore、飛槳（PaddlePaddle）、PyTorch、TensorFlow、Caffe、計圖（Jittor）等主流AI框架，提供900多種優選模型，能夠覆蓋眾多典型場景應用，相容多種底層硬體裝置，提供強大異構計算能力。
OpenMMLab是深度學習時代全球領域最全面、最具影響力的視覺演算法開源專案之一，為學術和產業界提供一個可跨方向、結構精良、易復現的統一演算法工具庫。OpenMMLab 已經累計開源了超過 30 個演算法庫，涵蓋分類、檢測、分割、影片理解等眾多研究領域，擁有超過 300 種演算法、2,400 多個預訓練模型。在 GitHub 上獲得超過 70,000 個標星，同時吸引了超過 1,500 名社群開發者參與專案貢獻，使用者遍及超過 110 個國家和地區，覆蓋全國全球頂尖高校、研究機構和企業。
MMDeploy作為OpenMMLab旗下的推理部署工具，可將OpenMMLab演算法在各種後端硬體上執行，並提供了簡單易用的呼叫介面，在各高校擁有一批年輕的開發者。
CANN具備靈活的框架適配度，也是昇騰高算力硬體的使能引擎，因此很自然地和MMDeploy走到了一起。CANN不但擴充了OpenMMLab演算法推理後端，使能開發者基於MMDeploy和CANN快速構建AI應用和業務，還能充分發揮昇騰AI硬體澎湃算力，加速推理業務的執行。
透過此次合作，將賦能開發者基於MMDeploy和CANN進行人工智慧推理應用的高效開發、部署，也為雙方後續的持續合作打下堅實的基礎，促進更多業務場景的技術創新和生態共贏。
圖片來源：MMDeploy GitHub開源社群
我們可以從下圖清晰地看到基於MMDeploy和CANN的推理部署框架。Model Converter作為MMDeploy的模型轉換模組，透過onnx2cann將前端模型轉換為昇騰AI硬體支援的模型格式，然後送入MMDeploy的Inference SDK模組，呼叫CANN的AscendCL應用開發介面完成推理任務在昇騰AI硬體上的執行。
基於MMDeploy+CANN的推理部署框架
透過MMDeploy和CANN的對接適配，目前已驗證包含OpenMMLab 4個演算法庫在內的18個流行的視覺演算法可以直接在昇騰AI硬體上執行。
未來，隨著MMDeploy和CANN合作的不斷深入，雙方將會從豐富演算法庫和高效推理層面持續創新和最佳化，促進昇騰AI和OpenMMLab的共同繁榮。同時，也歡迎大家在昇騰和MMDeploy的開源社群一起交流、探索和改進，以更完善的模型滿足度、更高效的推理部署方式，使能更多人工智慧場景，共同推進計算產業發展和生態構建！