摘要：在華為全聯接大會2022期間，華為正式官宣昇騰AI異構計算架構CANN 6.0版本將在年底正式釋出。
本文分享自華為雲社群《昇騰AI異構計算架構CANN 6.0全新開放升級，全面釋放AI生產力》，作者： 昇騰CANN 。
在華為全聯接大會2022期間，華為正式官宣昇騰AI異構計算架構CANN 6.0版本將在年底正式釋出。
高度完善的生態滿足度，滿足全方位業務訴求
從2018年初露鋒芒到2022年即將釋出的CANN 6.0最新版本，CANN在使能AI開發效率和效能方面持續保持業界領先。作為昇騰生態的錨點，CANN 6.0版本基於釋出全新升級的開發體系2.0，在效能、開放性及易用性上持續提升，在開源演算法支援、自定義運算元開發、動態shape場景支援等方面全方位滿足AI開發者的訴求，不斷提升生態滿足度。
作為昇騰AI基礎軟硬體平臺的核心，CANN搭起了從上層深度學習框架到底層AI硬體的橋樑，全面支援昇思MindSpore、飛槳（PaddlePaddle）、PyTorch、TensorFlow、Caffe、計圖（Jittor）等主流AI框架，提供900多種優選模型能夠覆蓋眾多典型場景應用，相容多種底層硬體裝置，提供強大異構計算能力。
為滿足開發者多層次AI業務訴求，CANN提供統一的面向應用的程式語言AscendCL（Ascend Computing Language）遮蔽底層處理器差異，支援AI應用開發、模型開發和運算元開發，版本向上相容，讓開發者零感知版本升級，暢享AI開發的便捷性。
同時，隨著人工智慧應用深入更多場景，圖片大小、語音長短等動態資料輸入的需求不斷增加，CANN 6.0版本對動態shape的支援度不斷提升，在新版本中，我們將會有400+運算元支援動態shape，支援80%的主流運算元，極大提高了AI場景生態滿足度以匹配客戶更多的AI業務場景。
打造極簡易用運算元開發體驗，高效使能AI開發者
經過數年的積累和最佳化，CANN高效能運算元庫為支撐神經網路訓練和推理加速而不斷添磚加瓦，CANN 6.0版本已經發展到1400+高效能運算元，可覆蓋主流AI框架的運算元加速需求。
運算元庫不僅支援高效能單運算元執行加速，還支援入圖技術，在圖上透過運算元融合減少計算節點和記憶體複製，進一步提升整網執行效能，以Bert網路為例，透過運算元深度融合技術可將網路效能提高50%。CANN 6.0新發布的Transformer高效能加速庫，針對網路典型結構精簡80% kernel數，核心kernel效能提升50%-150%，可匹配昇騰全系列處理器支援NLP/CV類全場景Transformer網路，並且兼具簡易的繼承開發及上層框架使用等諸多優點。
CANN 6.0版本除了繼續保持在典型模型上的效能優勢外，還將重點在易用性方面進行提升。伴隨運算元自定義開發需求的增多，為了更加開放、高效的支援使用者自開發，隨新版本釋出的開發體系2.0，在運算元開發方面推出原生支援C/C++的運算元開發語言，降低運算元開發門檻，同時提供昇騰硬體親和的資料結構，在保持效能的基礎上提升使用者自定義運算元開發效率，使得運算元開發效率得到倍級提升。
CANN 6.0版本將會提供包括11大類在內的70個DSL運算元程式設計介面、新增11類運算元排程策略，從而使能更多運算元採用簡單的DSL方式開發，運算元庫中DSL運算元覆蓋度可達80%。在開發易用性方面，開發者僅需完成計算過程表達，無需關心後續的Schedule建立、最佳化及編譯等問題，因為這些操作將透過Auto Schedule自動排程介面快速完成。CANN同時支援運算元Debug除錯、一鍵生成工程程式碼、自動編譯部署到運算元庫、簡化運算元交付件等功能，基於全流程解決開發者痛點，最大程度降低運算元開發門檻。
持續提升模型開發效率，實現模型下載即用
CANN支援模型的自動化遷移、調測及智慧調優，從真正意義上實現模型下載即用。CANN 6.0版本下，主流框架TensorFlow和PyTorch的模型遷移成功率可達80%以上，相容主流三方庫Horovod/Keras/DeepSpeed等。在此基礎上還能方便地將那些隨演算法演進而開發的自定義kernal或function保留到框架側執行，提升演算法適配靈活度。
在模型調優方面，開發者不僅能借助一系列昇騰親和API提升效能，還能透過智慧化調優工具代替複雜的手工最佳化操作，CANN 6.0版本的平均調優效率將較上一代提升一倍以上。
全系列AI開發輔助工具，掃除AI開發重重障礙
作為一個全面使能AI開發的軟體平臺，CANN不但持續在AI模型適配、應用開發和運算元開發方面給開發者帶來便捷，更是從模型最佳化、系統分析、模型部署等多維度幫助開發者掃除重重障礙。
模型壓縮工具AMCT，能有效降低模型資料量和計算量，節約模型記憶體和頻寬佔用，提升計算效能；智慧計算調優工具AOE，其傻瓜式的自動尋優能力使得演算法工程師從繁重的手工調優工作中解脫出來，並能夠將調優進度和調優結果透過視覺化方式直觀展示；Profiling工具則能自動採集整網效能資料，透過統計檢視識別最耗時運算元，在CANN 6.0版本中，可自動生成效能最佳化建議，引導使用者快速解決問題；精度比對工具，支援整網或指定層資料dump，CANN 6.0版本中進一步精簡dump資料量，更有效的輔助開發者快速定位異常運算元。
智慧大潮，奔湧向前，CANN持續深入踐行初心和使命，以大道至簡的態度築夢AI開發者！隨著CANN 6.0版本的全新開放升級，必定帶動更多夥伴及開發者基於昇騰AI和CANN的關鍵技術探索人工智慧領域更多可能，點燃智慧創新熱情，點亮智慧美好生活，共同築夢遠方，共享行業數字未來！