內容來源：華為開發者大會2021 HMS Core 6 AI技術論壇，主題演講《端雲協同，HUAWEI HiAI Foundation打造更易用的AI計算平臺》。
演講嘉賓：華為海思AI技術專家
大家好！HHUAWEI HiAI Foundation作為晶片使能的基礎平臺，基於“芯、端、雲”三層開放架構，構築全面開放的智慧生態，幫助開發者快速利用AI處理能力，為使用者提供更好地智慧應用體驗。充分利用華為麒麟晶片能力，HUAWEI HiAI Foundation在實時性上，避免網路延遲和擁塞；在隱私性上，保護本地圖片、視訊、語音資訊以及操作習慣等；在成本方面，開發者可最大化利用晶片算力，節省計算成本和頻寬成本。自2018年釋出以來，HUAWEI HiAI Foundation第三方應用的呼叫量逐年遞增，目前日呼叫量已破百億，獲得了開發者的價值認可。
HUAWEI HiAI Foundation開放框架
HUAWEI HiAI Foundation之所以受到歡迎的原因是其支撐更多主流推理框架，在引領端側AI行業標準構築的同時通過開源，讓更多開發者靈活高效地優化模型。
2021年上半年，我們已經完成了與KwaiNN、Bytenn、MNN、TNN等框架的對接。在此基礎上，HUAWEI HiAI Foundation可以支撐華為手機以及各產品線非常多的業務和應用。比如視訊剪輯、錄影直播、線上支付、地圖、輸入法等。
通過以上框架圖，我們可以看到HUAWEI HiAI Foundation作為基礎平臺，主要由推理加速平臺和異構計算平臺兩個部分組成。推理加速平臺的作用是跟更多的上層推理框架完成對接，幫助開發者聚焦模型優化；異構計算平臺則更好地使能NPU、CPU、GPU、DSP等計算IP，充分利用晶片算力。之後，HUAWEI HiAI Foundation可以實現多平臺統一的賦能手機、平板、智慧屏、音響等基於麒麟晶片的華為產品，並與HarmonyOS深度融合，在鴻蒙生態中起到端側AI能力的積極作用。
HUAWEI HiAI Foundation端雲協同方案優勢
HUAWEI HiAI Foundation上線後，我們還遇到了很多問題。比如在一個應用新特性發布後，業務運算元效能需要不斷優化並跟隨手機等ROM系統版本更新推送，使得整體上線週期較長。部分機型停止支援服務（EOS）後，則無法享受最新的效能優化。由此，開發者的訴求也很明晰，就是跟隨網際網路節奏，幫助業務快速釋出上線以及覆蓋更多機型，囊括EOS的機型。
為解決上述典型問題及開發者對接時提出的若干其它問題，HUAWEI HiAI Foundation今年在兩個方面進行了重大升級。一是基於端雲協同的計算庫獨立升級能力。支援計算庫動態升級，保證效能優化的運算元庫更快推送至端側，同時通過外掛進行模型編譯，保持更優的異構策略和高效能的融合模板。目前，這個能力已經在HarmonyOS 2.0版本上線，滿足合作伙伴的快速業務上線需求。
二是易用性的升級。我們會提供更豐富的介面呼叫，更易懂的使用者手冊、Demo演示和工具包。具體來說主要包括以下四點：
Model Zoo助力開發者快速使能NPU加速。Model Zoo綜合了硬體優化模型庫、模型優化指導以及技術交流社群的能力，通過它開發者可以快速知道哪一類模型在硬體上跑得速度更快，如何優化模型結構獲取更好的能效收益等。技術交流社群除了便於開發者參與討論交流外，也為後續高校科研合作專案、AI技術競賽等提供基礎。
推出高效能、低功耗、高精度、小模型的模型調優工具。包括模型量化工具包和模型結構搜尋工具包。前者推出了16bit、8bit、4bit、2bit和自適應混合量化，模型小巧而靈動，可以保障不丟失模型計算進度。後者則更多是通過自動搜尋方式，幫助開發者結合硬體資訊調整模型結構，使之更加敏捷快速。
異構計算——CPU、GPU、NPU等IP的高效協同。下圖列舉了一個典型的資料流。從視訊解碼器到影像預處理，再到影像處理、渲染優化、送顯等，經過了非常多的IP計算。那麼這些IP怎樣在較長的資料流中高效協同呢？這就需要多IP自動異構。它可以自動融合優化各計算節點，共享計算記憶體，做到多IP間資料零拷貝。另外，多IP的排程任務可以自動編排，支援優先順序控制和節點間記憶體自動分配。
- 模型視覺化——使用者模型資訊可見，提升調優效率。在模型結構視覺化工具（Netron）上，開發者可以直接看到HUAWEI HiAI Foundation的模型結構，更加便利。
如今，HUAWEI HiAI Foundation已加入AI標準化組織AITISA（人工智慧產業技術創新戰略聯盟），並參與端側AI標準草案撰寫，共同構築AI行業標準。為了讓開發者更好地使用端側AI能力，HUAWEI HiAI Foundation會保持初心，做更好、更易用的端側AI計算平臺，服務、賦能開發者，提升應用體驗，謝謝 !
瞭解更多詳情>>
訪問華為開發者聯盟官網
獲取開發指導文件
華為移動服務開源倉庫地址：GitHub、Gitee
關注我們，第一時間瞭解 HMS Core 最新技術資訊~