一家做硬體起家的公司,進入AI領域後也是專撿硬骨頭啃。
起初,他們造芯,一做就是10年,一投就是4000億,誕生了天罡、麒麟、昇騰等我們耳熟能詳的晶片。
如今,他們做AI框架,想要降低AI開發門檻,讓開發者可以輕鬆的移植程式碼,並實現全場景按需協同。
這背後,只為了一個目的: 萬物互聯。
是的,這家公司就是華為。
距離2018年10月10日華為輪值董事長徐直軍在華為全連線大會上公佈MindSpore,已經一年多了。
一年多前,華為讓大家知道,在AI框架江湖將出現一個後起之秀;一年多後的今天,華為MindSpore首席科學家陳雷宣佈,國內首個全場景AI計算框架MindSpore正式開源!
如此好用的框架將於 4月份正式開始公測,到時開發者就可以親身體驗了。
MindSpore降世:為華為在2萬億美元大藍海中保駕護航
華為副董事長鬍厚崑曾經在華為全連線大會上表示:“我們面臨的是一個2萬億美元的計算產業大藍海。”
目前華為已經有了在這片巨大的藍海中遠航的硬體基礎,那麼接下來就要在軟體上跟進。
然而,海上風浪大。
第一股風浪,就是技術戰和貿易戰,因此華為必須擁有自主可控的全場景計算框架來抵禦這股足以掀翻整艘大船的風浪。
第二股風浪,是目前計算框架存在開發門檻高、執行成本高、部署難度大等等亟待解決的問題。
作為華為支援端、邊、雲全場景的開源深度學習訓練推理框架,MindSpore一出生就承擔著這個年紀不該有的重大使命。
往小處說,MindSpore當前主要應用於計算機視覺、自然語言處理等AI領域,能夠為資料科學家和演算法工程師提供設計友好、執行高效的開發體驗,同時解決了昇騰AI處理器原生支援及軟硬體協同最佳化的問題。
往大處說,它的戰略意義在於構築面向全球的人工智慧開源社群,推動人工智慧軟硬體應用生態繁榮發展。
強大的核心特性,助力高效實戰開發
開發者只需要掌握張量(Tensor)、運算元(Operator)、單元(Cell)以及模型(Model)這4個基本概念及Python程式設計基礎,即可利用MindSpore提供的高階API進行實戰開發。
陳雷介紹了Mindspore的關鍵特性路標的變化,並且承諾會不斷根據開發者的需求,對Mindspore進行改進,力求滿足開發者最關心、最核心的需求。
接下來我們看下MindSpore的核心特性。
自動微分
當前主流的深度學習框架主要有三種自動微分技術:網路在編譯時轉換為靜態資料流圖(TensorFlow),在靜態圖上做自動微分;以記錄運算子過載的方式,動態生成資料流圖(PyTorch),在動態圖上自動微分。
而 MindSpore 採用基於原始碼轉換的通用自動微分:以即時編譯(JIT)的方式在中間表達(編譯過程中程式的表達形式)上做自動微分變換,支援while/if/for等複雜的控制流結構、支援高階函式和閉包等靈活的函數語言程式設計方式。
自動並行
MindSpore自動並行能夠用序列演算法程式碼,自動實現分散式並行訓練,並且保持高效能。分散式並行訓練的正規化有資料並行和模型並行,以及由這兩種正規化組合出來的混合並行。
MindSpore自動並行採用了一種全新的分散式並行訓練模式,融合了資料並行、模型並行和混合並行。
高效資料處理
MindSpore中的MindData負責完成訓練過程中資料的pipeline處理,包括資料載入、資料增強、匯入訓練,並提供簡單易用的程式設計介面和覆蓋CV/NLP等全場景的豐富資料處理能力。MindData提供c_transforms模組和py_transforms模組,來進行資料增強,使用者也可以自定義運算元來做資料增強。
高效圖執行引擎
MindSpore的圖處理操作,縱向看總共分為三層,分別是執行控制層、業務功能層、資料管理層。橫向展開分析,可細分為六大步驟,分別是圖準備、圖拆分、圖最佳化、圖編譯、圖載入和圖執行。透過上述圖操作,MindSpore圖引擎可以將前端下發的圖轉換為一種可以在昇騰硬體上高效執行的圖模式。
深度最佳化的模型集市
MindSpore計劃2020年Q4提供超過30+的深度最佳化模型,可供開發者直接使用。
此外,MindSpore還提供了視覺化工具,可以對單次訓練視覺化以及多次訓練的模型溯源,幫助開發者快速發現模型訓練過程的問題。
先進的設計理念,低門檻分散式全場景
MindSpore的推出,是基於華為對行業痛點的深刻洞察,即AI研究與應用之間存在巨大的鴻溝。
為了跨越這個鴻溝,MindSpore提出了三大設計理念。
新程式設計正規化
基於數學原生表達的AI程式設計新正規化,讓開發者可以聚焦AI創新和探索,一行程式碼實現自動搜尋並行策略,無需關注底層架構即可實現並行。
新執行模式
On-Device整圖解除安裝執行,深度圖最佳化,充分發揮算力。和友商相比,MindSpore上Resnet50影像分類的訓練時間降低了23%,Bert中文預訓練時間降低了62%,訓練時間大幅縮短。
全場景按需協同
MindSpore實現了一套框架端邊雲全場景部署,一次開發多處高效執行,開發和部署效率直線上升。
全力服務好開發者、高校和開源社群,制定有針對性的扶持計劃
華為深知,開發者、高校科研、開源社群是整個生態中,最關鍵的角色。針對三個不同的群體,華為分別給出了非常具體的定製化扶持計劃。
針對開發者,提供:
- 線上免費資源
- 全年不少於10場的技術沙龍
- 舉辦MindSpore開發者大賽
針對高校,提供:
- 專項創新基金激勵
- MindSpore教學扶持
針對開源社群,提供
- 聘請頂級專家入駐社群
- 招募committer參與社群核心專案
- 歡迎企業和組織參與社群建設
MindSpore初露端倪,前景可期
光說不練假把式,MindSpore應用前景如何,市場檢驗了才知道。
或許你已經享受到了MindSpore帶來的好處,對此卻毫無覺察,比如銷量爆棚的榮耀、NOVA等系列手機,都是MindSpore商用的成功案例。
隨著華為開源MindSpore,加上對開發者、科研人員的大力扶持,開發者們,屬於你們的大航海時代開始了