AI科學家賈揚清如此評價道：“與 Tensorflow、Caffe2 等同時覆蓋訓練和推理的通用框架相比，MNN 更注重在推理時的加速和優化，解決在模型部署的階段的效率問題，從而在移動端更高效地實現模型背後的業務。這和伺服器端 TensorRT 等推理引擎的想法不謀而合。在大規模機器學習應用中，考慮到大規模的模型部署，機器學習的推理側計算量往往是訓練側計算量的十倍以上，所以推理側的優化尤其重要。”
MNN背後的技術框架如何設計？未來有哪些規劃？今天一起來深入瞭解。
1、MNN是什麼？
MNN 是一個輕量級的深度學習端側推理引擎，核心解決深度神經網路模型在端側推理執行問題，涵蓋深度神經網路模型的優化、轉換和推理。目前，MNN已經在手淘、手貓、優酷、聚划算、UC、飛豬、千牛等 20 多個 App 中使用，覆蓋直播、短視訊、搜尋推薦、商品影像搜尋、互動營銷、權益發放、安全風控等場景，每天穩定執行上億次。此外，菜鳥自提櫃等 IoT 裝置中也有應用。在 2018 年雙十一購物節中，MNN 在天貓晚會笑臉紅包、掃一掃、明星猜拳大戰等場景中使用。
該專案已經在 Github 開源，關注“阿里技術”官方公眾號，並在對話方塊內回覆“MNN”，即可獲得 Github 下載連結、瞭解更多詳情。
2、MNN的優勢
MNN 負責載入網路模型，推理預測返回相關結果，整個推理過程可以分為模型的載入解析、計算圖的排程、在異構後端上高效執行。MNN 具有通用性、輕量性、高效能、易用性的特徵：
通用性：
- 支援 Tensorflow、Caffe、ONNX 等主流模型格式，支援 CNN、RNN、GAN 等常用網路；
- 支援 86 個 TensorflowOp、34 個 CaffeOp ；各計算裝置支援的 MNN Op 數：CPU 71 個，Metal 55 個，OpenCL 40 個，Vulkan 35 個；
- 支援 iOS 8.0+、Android 4.3+ 和具有POSIX介面的嵌入式裝置；
- 支援異構裝置混合計算，目前支援 CPU 和 GPU，可以動態匯入 GPU Op 外掛，替代 CPU Op 的實現；
輕量性：
- 針對端側裝置特點深度定製和裁剪，無任何依賴，可以方便地部署到移動裝置和各種嵌入式裝置中；
- iOS 平臺上，armv7+arm64 靜態庫大小 5MB 左右，連結生成可執行檔案增加大小 620KB 左右，metallib 檔案 600KB 左右；
- Android 平臺上，so 大小 400KB 左右，OpenCL 庫 400KB 左右，Vulkan 庫 400KB 左右；
高效能：
- 不依賴任何第三方計算庫，依靠大量手寫彙編實現核心運算，充分發揮 ARM CPU 的算力；
- iOS 裝置上可以開啟 GPU 加速（Metal），支援iOS 8.0以上版本，常用模型上快於蘋果原生的 CoreML；
- Android 上提供了 OpenCL、Vulkan、OpenGL 三套方案，儘可能多地滿足裝置需求，針對主流 GPU（Adreno和Mali）做了深度調優；
- 卷積、轉置卷積演算法高效穩定，對於任意形狀的卷積均能高效執行，廣泛運用了 Winograd 卷積演算法，對 3x3 -> 7x7 之類的對稱卷積有高效的實現；
- 針對 ARM v8.2 的新架構額外作了優化，新裝置可利用半精度計算的特性進一步提速；
易用性：
- 完善的文件和例項；
- 有高效的影像處理模組，覆蓋常見的形變、轉換等需求，一般情況下，無需額外引入 libyuv 或 opencv 庫處理影像；
- 支援回撥機制，方便提取資料或者控制執行走向；
- 支援執行網路模型中的部分路徑，或者指定 CPU 和 GPU 間並行執行；
3、MNN核心介紹
3.1 模組設計
如上圖所示，MNN 可以分為 Converter 和 Interpreter 兩部分。
Converter 由 Frontends 和 Graph Optimize 構成。前者負責支援不同的訓練框架，MNN 當前支援 Tensorflow(Lite)、Caffe 和 ONNX；後者通過運算元融合、運算元替代、佈局調整等方式優化圖。
Interpreter 由 Engine 和 Backends 構成。前者負責模型的載入、計算圖的排程；後者包含各計算裝置下的記憶體分配、Op 實現。在 Engine 和 Backends 中，MNN應用了多種優化方案，包括在卷積和反摺積中應用 Winograd 演算法、在矩陣乘法中應用 Strassen 演算法、低精度計算、Neon 優化、手寫彙編、多執行緒優化、記憶體複用、異構計算等。
3.2 效能比較
採用業務常用的 MobileNet、SqueezeNet 和主流開源框架進行比較，結果如下圖：
MNN 相比於 NCNN、Mace、Tensorflow Lite、Caffe2 都有 20% 以上的優勢。我們其實更加聚焦在內部使用的業務模型優化上，針對人臉檢測等模型進行深入優化，iPhone6 可以達到單幀檢測 5ms 左右。
注：Mace、Tensorflow Lite、Caffe2 均使用截止 2019 年 3 月 1 日 GitHub 程式碼倉庫的 master 分支；NCNN 由於編譯問題採用 20181228 Release 預編譯庫。
4、MNN的開源歷史
4.1 為什麼要做端側推理？
隨著手機算力的不斷提升，以及深度學習的快速發展，特別是小網路模型不斷成熟，原本在雲端執行的推理預測就可以轉移到端上來做。端智慧即在端側部署執行 AI 演算法，相比服務端智慧，端智慧具有低延時、兼顧資料隱私、節省雲端資源等優勢。目前端智慧正逐漸變為趨勢，從業界來看，它已經在 AI 攝像、視覺特效等場景發揮了巨大價值。
手淘作為電商的超級 App ，業務形態豐富，拍立淘、直播短視訊、互動營銷、試妝、個性化推薦搜尋等業務場景都有端智慧訴求，結合端智慧能力，可以給使用者帶來新的互動體驗，助力業務創新突破。
一般來說，端側深度學習的應用可以分成如下幾個階段：
- 模型訓練階段，主要解決模型訓練，利用標註資料訓練出對應的模型檔案。面向端側設計模型時，需要考慮模型大小和計算量；
- 模型壓縮階段，主要優化模型大小，可以通過剪枝、量化等手段降低模型大小，以便在端上使用；
- 模型部署階段，主要實現模型部署，包括模型管理和部署、運維監控等；
- 端側推理階段，主要完成模型推理，即載入模型，完成推理相關的所有計算；
由上可知，端側推理引擎是端智慧應用的核心模組，需要在有限算力、有限記憶體等限制下，高效地利用資源，快速完成推理。可以說，端側推理引擎實現的優劣，直接決定了演算法模型能否在端側執行，決定了業務能否上線。因此，我們需要一個端側推理引擎，一個優秀的端側推理引擎。
4.2 為什麼要開源 MNN？
在 2017 年初，我們在開始引擎研發之前，重點調研了系統方案和開源方案，從通用性、輕量性、高效能、安全性等方面深入分。CoreML 是 Apple 的系統框架，MLKit 和 NNAPI 是 Android 的系統框架，系統框架最大的優勢是輕量性 —— 在包大小方面相對寬裕。而最大的劣勢是通用性，CoreML 需要 iOS 11+，MLKit 和NNAPI 需要 Android 8.1+，可以覆蓋的機型非常有限，同時難以支援嵌入式裝置的使用場景。此外，系統框架支援的網路型別、Op 型別都較少，可擴充性又較差，還未能充分利用裝置的算力，加之存在模型安全方面的問題。綜上種種，系統框架不是一個很好的選擇。開源方案中 Tensorflow Lite 宣而未發，Caffe 較成熟但不是面向端側場景設計和開發的，NCNN 則剛剛釋出還不夠成熟。總的來說，我們找不到一套面向不同訓練框架，不同部署環境，簡單高效安全的端側推理引擎。
因此，我們希望提供面向不同業務演算法場景，不同訓練框架，不同部署環境的簡單、高效、安全的端側推理引擎 MNN 。能夠抹平 Android 和 iOS 的差異，碎片裝置之間的差異，不同訓練框架的差異，實現快速的在端側部署執行，並且能夠根據業務模型進行 OP 靈活新增和 CPU/GPU 等異構裝置深入效能優化。
隨著時間推移，NCNN、Tensorflow Lite、Mace、Anakin 等逐步升級和開源，給與我們很好的輸入和借鑑。我們隨著業務需求也在不斷迭代和優化，並且經歷了雙十一考驗，已經相對成熟和完善，所以開源給社群，希望給應用和 IoT 開發者貢獻我們的力量。
5、應用場景
目前，MNN 已經在手淘、貓客、優酷、聚划算、UC、飛豬、千牛等20+集團App中整合，在拍立淘、直播短視訊、互動營銷、實人認證、試妝、搜尋推薦等場景使用，每天穩定執行上億次。2018年雙十一購物節中，MNN 也在貓晚笑臉紅包、掃一掃明星猜拳大戰等場景中使用。
拍立淘是在手淘裡面的一個影像搜尋和識別產品，從14年首次上線經過不斷迭代發展目前已經成長為 UV 超過千萬的應用。其中的技術也在不斷迭代更新，從最早的拍照上傳圖片雲端識別，演進到目前在端上做物體識別和摳圖再上傳雲端識別，有效地提升了使用者體驗同時節省了服務端計算成本。針對一些簡單的物體分類萬物識別和 logo 識別，目前也已經支援直接通過端上的模型進行實時識別。
笑臉紅包是18年雙十一貓晚開場的第一個節目，這個玩法是基於實時人臉檢測和表情識別能力做的，相比之前各種通過螢幕觸控的互動玩法，這個活動通過攝像頭實時人臉檢測演算法實現從傳統觸控互動玩法到自然互動玩法的跨越，給使用者帶來新的使用者體驗。
集五福是19年春節的活動，也是手淘第一次通過掃年貨的方式加入到這個活動中來。通過掃一掃商品識別能力，識別紅色年貨，除了福卡之外，還能得到羽絨被、五糧液、茅臺、帝王蟹等實物大獎和貓超、天貓精靈等無門檻優惠券，讓家裡的年貨變成下金蛋的“母雞”。
6、Roadmap
我們計劃每兩個月 Release 一個穩定版本。當前規劃如下：
模型優化方面：
- 完善 Converter 圖優化
- 完善對量化的支援，增加對稀疏的支援
排程優化方面：
- 增加模型 flops 統計
- 針對裝置硬體特性動態排程執行策略
計算優化：
- 現有 Backend 持續優化（CPU/OpenGL/OpenCL/Vulkan/Metal）
- 優化 Arm v8.2 Backend，支援量化模型
- 使用 NNAPI，增加 NPU Backend
- 應用快速矩陣乘法、Winograd 演算法優化效能
其他：
- 文件和示例
- 完善 test、benchmark 相關工具
- 支援更多 Op
本文為雲棲社群原創內容，未經允許不得轉載。