華為在20年9月份開源了MindSpore Lite 1.0.0版本之後，其介面易用性、運算元效能與完備度、第三方模型的廣泛支援等方面，得到了眾多手機應用開發者的廣泛認可。MindSpore Lite為HMS Core AI領域提供了全場景AI推理框架，支撐華為手機的相機、相簿、錢包、瀏覽器的二維碼掃描、物體識別等AI相關模組，為各類華為穿戴、智慧屏等裝置提供基礎AI服務。同時，作為HMS Core開放給全球開發者接入的重要能力之一，華為機器學習服務已為全球1000+應用接入，日均呼叫量超過3億。

目前，在21年新年伊始，華為釋出了MindSpore Lite 1.1.0版本，在運算元效能最佳化、模型小型化、加速庫自動裁剪工具、端側模型訓練、語音類模型支援、Java介面開放、模型視覺化等方面進行了全面升級，升級後的版本更輕、更快、更易用，新特性也會體現到HMS Core的新版本中。

# 1.   運算元庫最佳化與擴充套件
推理效能最佳化是本次版本的重頭戲，除了持續的ARM CPU(FP16/FP32/INT8)效能最佳化，ARM GPU和X86_64的最佳化也是本次的亮點。GPU方面我們除了傳統的運算元最佳化，還加入了線上融合、AutoTuning等技術，使得ARM GPU推理效能大幅提升；同時為了更好的支援PC側推理，在X86_64運算元方面我們做了大量彙編層面的最佳化；經過大量模型的實測，MindSpore Lite 1.1.0版本在推理效能方面在業界各類框架中極具競爭力。

## 1.1 ARM CPU最佳化
  我們從引入減少計算量的更優演算法，到儘可能減少硬體訪存從而提高指令吞吐量，MindSpore Lite 的CPU運算元效能大幅提升。我們使用TF Hub官網上100+端側預置模型進行了推理時延對比測試，測試結果顯示在Mate30/P30等高階機型上MindSpore Lite已全面超越官網資料，在P20等中低端機型上推理效能優於官網資料的佔比也達到97%。

### 1.1.1 FP16推理效能
MindSpore Lite全面支援ARMv8.2的FP16推理，推理時延基本達到了FP32型別推理的二分之一，在推理時延大幅降低的同時精度滿足業務要求；我們的FP16推理方案已經在華為HMS MLKit和華為手機預置的各類AI服務中普遍應用。

由於TF Lite不支援FP16推理，所以在FP16推理效能對比測試環節中我們只選擇了MNN最新的1.1版本，從測試結果看MindSpore Lite在FP16推理時延更低，效能表現更好。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093046577.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**華為Mate30上網路整體時延對比情況**

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093107721.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**華為Mate30上FP16推理時延對比**

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093127409.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**驍龍865+上FP16推理時延對比**

### 1.1.2 Int8量化模型推理效能

對於量化運算元，當前版本MindSpore Lite實現了在演算法層面加入如Convolution Kernel為3x3的Winograd最佳化演算法（目前主要針對非ARMv8.2機型），在支援ARMv8.2的高階機上使用SDOT指令對MatMul、Fully Connection、Convolution等運算元進行最佳化，以及提高底層快取命中率的一系列最佳化策略，使得MindSpore Lite量化推理效能得到大幅提升，相較於FP16推理有40%+的效能提升。

我們選擇了TF Lite最新2.4版本和MNN最新的1.1版本進行推理效能對比測試，使用的模型為TF Hub官方預置的量化模型（測試過程中我們發現MNN存在大量量化模型無法轉換問題，甚至TF Lite對自家模型也存在轉換問題），從測試結果看MindSpore Lite對量化模型無論在支援度還是推理效能方面，時延都是最低，表現最好。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093158465.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**華為Mate30上量化網路整體時延對比情況**

**ARMv8.2機型測試**

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093251871.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**驍龍865+上量化模型時延對比**

**ARMv8機型測試**

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093314823.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)
**華為P20上量化模型時延對比**

### 1.1.3 FP32推理效能

同時為了確保在低端CPU上使用MindSpore Lite推理時能夠同樣獲得業界最優的推理效能，我們持續對FP32的推理效能進行了最佳化。我們在華為P20上以TFLite(2.4版本)、MNN(1.1版本)作為對比物件，進行了benchmark效能測試，從測試結果中可以看出MindSpore Lite FP32推理時延還是最低，表現最好，但和其他框架的差距不大。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093339261.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**華為P20上量化模型時延對比**

## 1.2 ARM GPU最佳化

MindSpore Lite 1.1版本我們對GPU推理效能進行了重點最佳化，除了在運算元層面進行了常規最佳化外，還增加了線上融合、AutoTuning、OpenCL kernel二進位制cache機制等多種最佳化方式，使得整體效能較MindSpore Lite 1.0有25%+的提升；

我們同樣在華為Mate30上使用TF Hub官網100+預置模型與MNN(1.1版本)和TF(2.4版本)進行了GPU推理效能對比測試，可以從下圖的測試結果看出MindSpore Lite GPU推理效能在大部分模型時延上都是最低，MNN則延遲都比較高。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093411822.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**華為Mate30上GPU FP32推理時延對比**

## 1.3 X86_64 CPU最佳化

本次版本我們還對X86_64平臺上的推理效能進行了大量最佳化工作，我們在Intel Core i7-8700的CPU上與Intel OpenVINO和MNN在幾個經典CV類網路上進行了benchmark測試，從測試結果看MindSpore Lite時延同樣最低；

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093439844.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**Intel Core i7-8700 X86_64 CPU推理效能對比**

## 1.4更多的融合
當前MindSpore Lite版本已經基本覆蓋了機器視覺領域通用的卷積相關融合pattern，同時針對基於Transformer結構的語音模型和LSTM結構的模型進行了深度融合最佳化，主要包括將小運算元融合成Layernorm、LSTM等大運算元，多個MatMul融合成BatchMatMul運算元，Slice運算元切分矩陣的前移融合等，使得語音類模型獲得20%+的提升，後續我們將嘗試融合pattern的自動schedule功能。

# 2.   運算元完備度擴充套件

MindSpore Lite支援包括ARM CPU、ARM GPU、X86 CPU、Kirin NPU、MTK APU在內的多種硬體平臺。

## 2.1 ARM CPU
MindSpore Lite是目前端側推理框架中CPU運算元支援最豐富的框架之一，當前我們的模型轉換工具支援TF Lite（100個）、TF(53個)、ONNX（96個）以及Caffe（26個）等第三方框架運算元定義的解析，做到了高相容性，上文效能測試中我們也提到過MNN對很多模型無法轉換，TF Lite對自家官網預置模型的支援度也不夠完善；MindSpore Lite則實現了121個FP32，55個FP16以及71個INT8 CPU運算元；而此次的1.1版本我們對控制流運算元也進行一次大的調整與完善，以便更好的支援語音類模型。

## 2.2 ARM GPU
新增OpenCL運算元10+，當前支援GPU運算元總數為58，基本實現常見CV類網路覆蓋；新增線上融合、Auto Tuning等特性支援，同時支援權重量化，實現8bit權重量化網路在GPU整網執行。

## 2.3 Kirin NPU
1.1版本我們完善了對華為麒麟NPU硬體平臺的支援，增加了對Kirin 9000晶片的支援，同時新增了50+ NPU運算元支援，從而實現支援大部分CV類場景在NPU上的加速執行；我們在華為最新的Mate 40手機上進行了幾個典型網路的benchmark驗證，NPU上推理時延較CPU推理有明顯提升；

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093545262.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**Mate 40上NPU和CPU FP32/16推理時延對比**

# 3.   支援端側訓練
由於使用公共資料集訓練的模型與真實使用者場景存一定的偏差，比如人臉識別、語音識別等場景，我們往往需要利用本地資料對預訓練模型進行微調，從而提高本地模型推理的精度，改善使用者體驗。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093644166.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

MindSpore Lite 1.1版本我們將端側訓練框架進行了開源，首個版本給我們帶來了以下特性：

1)  支援30+反向運算元，提供SGD、ADAM等常見最佳化器及CrossEntropy/SparsCrossEntropy/MSE等損失函式；既可從零訓練模型，也可指定特定網路層微調，達到遷移學習目的;

2)  已支援LeNet/AlexNet/ResNet/MobileNetV1/V2/V3和EffectiveNet等網路訓練，提供完整的模型載入，轉換和訓練指令碼，方便使用者使用和調測;

3)  MindSpore雲側訓練和端側訓練實現無縫對接，雲側模型可直接載入到端側進行訓練;

4)  支援checkpoint機制，訓練過程異常中斷後可快速恢復繼續訓練;

我們的端側訓練框架已經在華為部分裝置的AI應用比如家庭相簿等場景進行了商用，並取得了很好的使用者體驗。

# 4.   訓練後量化
隨著AI應用在端側裝置部署越來越普遍，而受制於端側資源的侷限性，對於模型小型化和推理效能提升的挑戰日益倍增。MindSpore Lite提供了簡單實用的訓練後量化功能，最大程度壓縮模型大小，減小記憶體佔用，提升推理速度，降低功耗。

訓練後量化相較於量化重訓具有兩個明顯優勢，一是無需大量訓練資料集，二是無需重新訓練，離線快速轉換。MindSpore Lite訓練後量化工具提供權重量化和全量化兩種方法，支援1~16bit量化，支援分類，檢測，NLP等多種模型。

為保障訓練後量化模型精度損失小，我們採用pipeline組合量化方法，一階段採用常規線性量化手段對權重和啟用值進行量化，二階段對量化誤差進行分析，利用統計學方法對量化模型進行校正，補償因量化帶來的精度損失。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093713826.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**Pipeline 組合量化**

以TF官網MobileNet_v2模型為例，MindSpore Lite訓練後量化A8W8（啟用值8bit量化、權重8bit量化）精度與FP32模型相比，經損失校正後，精度損失由0.82%降到0.4%，同樣適用7bit量化下，精度損失仍不超過1%。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093745444.png)

**訓練後全量化mobilenet_v2模型精度對比**

我們在HMS Face場景下模型進行了INT8權重量化(模型size範圍364KB~2.9MB)，實際端到端識別精度完全滿足服務要求。權重量化精度損失矯正方案的相對精度誤差對比如下，可以看到損失矯正方案下量化精度損失有明顯降低。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20210315093815771.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70)

**Face場景模型權重量化精度損失矯正方案相對精度損失對比**

經內部大量測試和實際商用交付反饋，pipeline組合量化方法效果顯著，甚至小至300KB的模型，經INT8量化壓縮後精度仍滿足商用要求。

# 5.   易用性增強

## 5.1 加速庫自動裁剪工具
為了滿足部分對釋出包大小有極致小型化訴求的場景，我們提供了一個一鍵式裁剪工具，該工具可以根據使用者指定的模型列表，自動裁剪出足以執行列表中指定模型的最小化MindSpore Lite版本。

## 5.2 離線工具引數精簡
我們對離線轉換工具引數進行了精簡，最大程度地提高轉換工具的易用性，讓開發者在轉換三方模型時，無需感知三方模型的量化型別、輸入輸出節點名稱和對應的資料型別等。

## 5.3 支援Java介面
1.1版本正式開放了Java介面，以方便安卓開發者更簡單的使用MindSpore Lite進行應用開發。

## 5.4 模型視覺化
為了方便開發者除錯，我們在Netron開源社群提交了支援MindSpore Lite模型視覺化的程式碼，現在開發者可以使用Netron工具視覺化MindSpore Lite模型。相信能給開發者除錯模型，尤其是一些結構複雜的模型，帶來極大的方便。

# 6.   開放更多的端側預置模型
為了方便開發者在端側快速部署自己的AI業務，MindSpore開放了更多的適合端側使用的模型，其中不乏一些MindSpore首發的原創模型，這些模型可以方便的在MindSpore Hub上獲取。

## 6.1   使用SCOP演算法在Oxford-III Pet資料集對ResNet50網路剪枝的模型

SCOP：Scientific Control for Reliable Neural Network Pruning，是華為諾亞方舟實驗室和北京大學聯合提出了一種科學控制機制最小化剪枝節點對網路輸出的影響。採用這種剪枝方法，能夠實現ImageNet資料集上僅損失ResNet101網路0.01%的top-1準確率，模型引數量和計算量分別減少57.8%和60.2%，顯著優於SOTA方法。模型連結：https://www.mindspore.cn/resources/hub/details?noah-cvlab/gpu/1.0/resnet-0.65x_v1.0_oxford_pets

## 6.2 基於SLB輕量化技術的模型VGG-Small
該模型使用華為諾亞方舟實驗室入選NeurIPS 2020模型輕量化技術中的SLB量化技術（Searching for Low-Bit Weights in Quantized Neural NetWorks），在CIFAR10上基於2-bit weight和2-bit activation量化得到的端側模型。模型連結：https://www.mindspore.cn/resources/hub/details?noah-cvlab/gpu/1.0/VGG-Small-low-bit_cifar10

如果想了解更多關於以上MindSpore首發模型中使用的輕量化技術，請參考：[https://mp.weixin.qq.com/s/H1zg3ezZDdXQ-IQ7ki0Mtw](https://mp.weixin.qq.com/s/H1zg3ezZDdXQ-IQ7ki0Mtw)

測試資料來自於華為內部實驗室測試資料，有疑問可以在MindSpore論壇上進行反饋：[https://bbs.huaweicloud.com/forum/forum-1076-1.html](https://bbs.huaweicloud.com/forum/forum-1076-1.html)

MindSpore開原始碼倉連結：[https://gitee.com/mindspore/mindspore](https://gitee.com/mindspore/mindspore)

---
原文連結：[https://developer.huawei.com/consumer/cn/forum/topic/0202453926225910779?fid=18](https://developer.huawei.com/consumer/cn/forum/topic/0202453926225910779?fid=18)

原作者：胡椒

超輕量AI推理引擎MindSpore Lite新版本釋出，支撐HMS Core AI領域全面升級

相關文章