接入Tengine，讓你的AI應用飛起來

https://www.toutiao.com/a6698982880724386307/

隨著 AI 在技術發展中的不斷突破和使用，越來越多的AI公司投入大量資源開發工具，晶片公司花大量精力做上層開發環境和平臺，AI應用/演算法公司投入大量人力做底層適配優化，這無疑是重複造輪子，消耗大量資源且整體效率低。而現有軟體框架不能滿足AIoT需求，訓練框架依賴庫眾多，版本間相容性差，效率低下，不適合嵌入式部署 ；AI框架與嵌入式晶片雙重碎片化阻礙AIoT應用開發。

如何創造性解決這些問題，加速產業協作，助力更多企業進入AI行業呢？

OPEN  AI LAB開發了一款輕量級模組化的高效能神經網路推理引擎-Tengine，專門針對Arm嵌入式裝置優化，提供超過所有已知開源框架的無與倫比的效能，可跨平臺使用支援Android，Linux。

並且Tengine框架不依賴於專用AI晶片，現有的成熟晶片通過Tengine框架可以把算力挖掘出來，在本地進行一些AI應用的處理，從而提高了晶片效能，並降低成本。

2018年9月，與非網釋出了一篇名為《Tengine，可能是最好用的Arm嵌入式系統AI框架了！》的文章，業內人士持續轉發並引起巨大反響。 OPEN  AI LAB全體Tengine團隊經過半年多的努力，現在我們可以堅定的說， “可能” 這兩個字可以去掉了， Tengine是最好用的Arm嵌入式系統AI框架！

以下是原文（有修改）：

邊緣AI應用正處於大規模落地的前夕，巨大的IoT市場和革命性的AI技術產生的劇烈互動將帶來前所未有的應用革命和商業機會。那麼在邊緣裝置部署AI應用的瓶頸都有哪些？

☉有人有現成的晶片和應用場景，卻為缺乏演算法和平臺苦惱；

☉有人有自己的演算法，卻為缺乏一個好用的嵌入式跨平臺框架而苦惱；

☉有人有自己的演算法和硬體平臺，卻為嵌入式平臺有限算力苦惱；

☉公司有幾檔產品採用不同晶片，每個晶片都有一套自己的介面，維護應用很煩。

OPEN  AI LAB看到了業界痛點，順應市場需求推出了專為嵌入式平臺設計的AI推理框架——Tengine。

專門針對Arm嵌入式裝置優化的神經網路推理引擎

OPEN  AI LAB於2016年12月成立，由Arm中國聯合產業夥伴發起，致力於推動晶片、硬體、演算法、軟體整個產業鏈的深度合作，加速人工智慧產業化應用部署和應用場景邊界擴充。Tengine便是一款輕量級模組化高效能的神經網路推理引擎，是Arm中國周易平臺的軟體框架，專門針對Arm嵌入式裝置優化。完美支援Arm平臺，支援Arm Cortex CPU，Arm Mali GPU，周易AIPU，第三方DSP， 堪稱相容“全能王” 。

開發者可以使用Tengine一網打盡主流框架模型和嵌入式作業系統，還能異構排程平臺裡的各類硬體，充分利用硬體算力。 此外，Tengine還提供了常見AI應用演算法，包括影象檢測，人臉識別，語音識別等。不懂AI沒關係，上手就能跑AI應用。

Tengine同時還支援各類常見卷積神經網路，包括SqueezeNet，MobileNet，AlexNet，ResNet等，支援層融合、8位量化等優化策略。並且通過呼叫針對不同CPU微構架優化的HCL庫，將Arm CPU的效能充分挖掘出來。

Tengine的“發動機”——HCL計算庫

HCL (Heterogeneous Compute Library) 是由 OPEN  AI LAB研發的異構計算庫，專門加速Arm平臺NN計算。

HCL計算庫作為Tengine的外掛，是效能最快的Arm CPU NN計算庫，並且支援動態8位量化計算，精度幾乎不變， 相比於開源屆非常優秀的框架NCNN，最快還能帶來2-3倍的效能提升，記憶體使用減少為三分之一。

*Tengine效能資料A72，A53效能基於RK3399平臺測試，A17效能基於RK3288平臺測試 NCNN資料為2018年9月7日

HCL INT8量化計算精度變化

Tengine獨創的混合精度計算模式，帶來使用者體驗和效能的最佳平衡。 開發者不需要對原始浮點模型做任何修改，只需要開啟Tengine的量化計算開關，Tengine自動在執行時對進行量化和計算，大幅度提升推理效能。同時得益於混合精度計算，大多數模型的精度保持不變，非常實用。

*採用ILSVRC2012_VAL資料集測試5000張圖片得到量化精度測試結果

Tengine + HCL，不同人群的量身定製

Tengine作為AI 應用框架，不僅對上層應用提供推理API介面，支援主流模型與格式，還在下層定義硬體介面，適配嵌入式平臺各類計算模組，此外支援同時執行多個AI應用演算法以及呼叫多個計算模組計算。

因此，Tengine的面世對AI開源生態具有里程碑的意義。有了Tengine，應用和演算法廠商可以擺脫複雜的嵌入式平臺適配工作，配合HCL直接挖掘硬體的全部潛能；有了Tengine，晶片廠能夠站在Arm 嵌入式AI生態的肩膀上，以最快的速度順利將晶片推向市場，在邊緣AI應用中部署。

作為 OPEN  AI LAB為邊緣AI應用部署開發的兩大利器， Tengine + HCL將助力嵌入式人工智慧產業加速向前推進，為最終實現萬物智慧貢獻力量。

檢視與非網釋出的原文《Tengine，可能是最好用的Arm嵌入式系統AI框架了！》https://www.eefocus.com/mcu-dsp/421293

OPEN  AI LAB 於2016年12月成立，由Arm中國聯合產業夥伴發起，致力於推動晶片、算力、演算法、應用和資料等產業鏈各層次的深度協作，加速人工智慧產業化應用部署和應用場景邊界擴充，為最終實現萬物智慧貢獻力量。更多：http://www.openailab.com/?tt0605

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29829936/viewspace-2646901/，如需轉載，請註明出處，否則將追究法律責任。