阿里巴巴開源輕量級深度神經網路推理引擎MNN

我愛計算機視覺發表於2019-05-07
阿里神經網路

導讀：在移動端進行深度神經網路推理，可以使用騰訊開源的ncnn，或者小米開源的Mace，還有百度家的Paddle-Mobile，他們可以幫助開發者在無需過多瞭解移動端CPU和GPU優化的情況下，快速部署充分利用硬體加速的應用。

剛剛，阿里巴巴也開源了一款工具MNN——Mobile Neural Network 輕量級的深度神經網路推理引擎，並且已經在阿里巴巴內部經過線上部署驗證，值得大家參考！


阿里巴巴開源輕量級深度神經網路推理引擎MNN

簡介

MNN是一個輕量級的深度神經網路推理引擎，在端側載入深度神經網路模型進行推理預測。目前，MNN已經在阿里巴巴的手機淘寶、手機天貓、優酷等20多個App中使用，覆蓋直播、短視訊、搜尋推薦、商品影像搜尋、互動營銷、權益發放、安全風控等場景。此外，IoT等場景下也有若干應用。

整體特點

輕量性

  • 針對端側裝置特點深度定製和裁剪，無任何依賴，可以方便地部署到移動裝置和各種嵌入式裝置中。

  • iOS平臺：armv7+arm64靜態庫大小5MB左右，連結生成可執行檔案增加大小620KB左右，metallib檔案600KB左右。

  • Android平臺：so大小400KB左右，OpenCL庫400KB左右，Vulkan庫400KB左右。

通用性

  • 支援Tensorflow、Caffe、ONNX等主流模型檔案格式，支援CNN、RNN、GAN等常用網路。

  • 支援86個TensorflowOp、34個CaffeOp；各計算裝置支援的MNN Op數：CPU 71個，Metal 55個，OpenCL 29個，Vulkan 31個。

  • 支援iOS 8.0+、Android 4.3+和具有POSIX介面的嵌入式裝置。

  • 支援異構裝置混合計算，目前支援CPU和GPU，可以動態匯入GPU Op外掛，替代CPU Op的實現。

高效能

  • 不依賴任何第三方計算庫，依靠大量手寫彙編實現核心運算，充分發揮ARM CPU的算力。

  • iOS裝置上可以開啟GPU加速（Metal），常用模型上快於蘋果原生的CoreML。

  • Android上提供了OpenCL、Vulkan、OpenGL三套方案，儘可能多地滿足裝置需求，針對主流GPU（Adreno和Mali）做了深度調優。

  • 卷積、轉置卷積演算法高效穩定，對於任意形狀的卷積均能高效執行，廣泛運用了 Winograd 卷積演算法，對3x3 -> 7x7之類的對稱卷積有高效的實現。

  • 針對ARM v8.2的新架構額外作了優化，新裝置可利用半精度計算的特性進一步提速。

易用性

  • 有高效的影像處理模組，覆蓋常見的形變、轉換等需求，一般情況下，無需額外引入libyuv或opencv庫處理影像。

  • 支援回撥機制，可以在網路執行中插入回撥，提取資料或者控制執行走向。

  • 支援只執行網路中的一部分，或者指定CPU和GPU間並行執行。

架構設計

阿里巴巴開源輕量級深度神經網路推理引擎MNN

MNN可以分為Converter和Interpreter兩部分。

Converter由Frontends和Graph Optimize構成。前者負責支援不同的訓練框架，MNN當前支援Tensorflow(Lite)、Caffe和ONNX(PyTorch/MXNet的模型可先轉為ONNX模型再轉到MNN)；後者通過運算元融合、運算元替代、佈局調整等方式優化圖。

Interpreter由Engine和Backends構成。前者負責模型的載入、計算圖的排程；後者包含各計算裝置下的記憶體分配、Op實現。在Engine和Backends中，MNN應用了多種優化方案，包括在卷積和反摺積中應用Winograd演算法、在矩陣乘法中應用Strassen演算法、低精度計算、Neon優化、手寫彙編、多執行緒優化、記憶體複用、異構計算等。

Benchmark效能測試結果記錄

2019-2-18

華為 P10

Build Flags: ABI=arm64-v8a OpenMP=ON Vulkan=ON OpenCL=ON
MNN benchmark
Forward type: **CPU**
Warming up...
--------> Benchmarking... loop = 10
[ - ] vgg16.mnn                 max =  499.545ms  min =  410.570ms  avg =  445.868ms
[ - ] SqueezeNetV1.0.mnn        max =   49.437ms  min =   38.759ms  avg =   43.901ms
[ - ] MobileNetV2_224.mnn       max =   26.139ms  min =   20.400ms  avg =   24.489ms
[ - ] inception-v3.mnn          max =  413.265ms  min =  262.142ms  avg =  306.542ms
[ - ] resnet-v2-50.mnn          max =  240.009ms  min =  152.649ms  avg =  176.075ms
[ - ] mobilenet-v1-1.0.mnn      max =   89.461ms  min =   29.903ms  avg =   41.547ms
MNN benchmark
Forward type: **Vulkan**
Warming up...
--------> Benchmarking... loop = 10
[ - ] vgg16.mnn                 max =  293.156ms  min =  227.952ms  avg =  240.050ms
[ - ] SqueezeNetV1.0.mnn        max =   47.752ms  min =   31.191ms  avg =   37.727ms
[ - ] MobileNetV2_224.mnn       max =   61.352ms  min =   35.874ms  avg =   46.321ms
[ - ] inception-v3.mnn          max =  396.939ms  min =  180.353ms  avg =  349.952ms
[ - ] resnet-v2-50.mnn          max =  214.694ms  min =  100.377ms  avg =  169.003ms
[ - ] mobilenet-v1-1.0.mnn      max =   45.946ms  min =   23.257ms  avg =   33.217ms

小米 Max3

Hardware    : Qualcomm Technologies, Inc SDM636

Build Flags: ABI=arm64-v8a OpenMP=ON Vulkan=ON OpenCL=ON
MNN benchmark
Forward type: **CPU**
Warming up...
--------> Benchmarking... loop = 10
[ - ] vgg16.mnn                 max = 1311.661ms  min = 1248.531ms  avg = 1255.455ms
[ - ] SqueezeNetV1.0.mnn        max =  151.955ms  min =   95.348ms  avg =  101.986ms
[ - ] MobileNetV2_224.mnn       max =   94.336ms  min =   50.987ms  avg =   58.299ms
[ - ] inception-v3.mnn          max =  763.095ms  min =  690.005ms  avg =  698.674ms
[ - ] resnet-v2-50.mnn          max =  453.710ms  min =  389.649ms  avg =  396.409ms
[ - ] mobilenet-v1-1.0.mnn      max =  128.781ms  min =   77.023ms  avg =   83.134ms
MNN benchmark
Forward type: **Vulkan**
Warming up...
--------> Benchmarking... loop = 10
[ - ] vgg16.mnn                 max =  783.093ms  min =  730.928ms  avg =  736.894ms
[ - ] SqueezeNetV1.0.mnn        max =   96.435ms  min =   61.809ms  avg =   65.574ms
[ - ] MobileNetV2_224.mnn       max =   71.107ms  min =   43.912ms  avg =   46.925ms
[ - ] inception-v3.mnn          max =  436.363ms  min =  386.338ms  avg =  391.818ms
[ - ] resnet-v2-50.mnn          max =  303.728ms  min =  262.706ms  avg =  267.613ms
[ - ] mobilenet-v1-1.0.mnn      max =   89.119ms  min =   56.216ms  avg =   59.725ms

開源地址：

https://github.com/alibaba/MNN

相關文章