國產深度學習框架MegEngine，曠視打造，三月底即將開源
杜佳豪發表於2020-02-28
這一完全由國人自主研發，曾經支援過曠視所有領先技術的框架，勢必將會引來人們的廣泛關注。在重磅介紹 MegEngine 之前，我們不得不向大家介紹一下曠視的人工智慧演算法平臺——Brain++。曠視首席科學家、曠視研究院院長孫劍曾表示：「曠視 Brain++ 讓規模化演算法訓練成為可能。」簡單地理解，擁有能批次生產演算法的 Brain++，對曠視來說就是生產力的躍遷。讓曠視的開發者來從拓荒期快速走上現代化的程式。
曠視 Brain++總體上可以大體分為三部分，其中即將開源的深度學習演算法開發框架 MegEngine 是核心，其次是提供算力排程支援的深度學習雲端計算平臺 MegCompute，以及用於提供資料服務和管理的資料管理平臺 MegData。起家於計算機視覺的曠視之所以能夠快速發展，屢屢在 AI 競賽中屠榜，其背後的奧義在於：曠視透過 Brain++實現了演算法創新上的小步快跑和自給自足，再進一步深究，其成功最根本的原因在於曠視的核心框架效果確實非同一般。然而在各家廠商不斷開源 AI 工具的今天，曠視將自己的「殺手鐧」推向整個社群究竟經過了何種考量？這還要從深度學習框架的發展歷程說起。什麼是框架？就是前人已經開闢了一條路，後來者只需要跟著這條路走就對了。眾所周知，人工智慧風雨六十餘載，是深度學習的出現讓人工智慧產業的發展曲線走向新的拐點。然而早期的研發人員沒有任何「前人之路」可走。在深度學習的萌芽時期，Theano 這樣的元老級框架就曾指導我們寫出第一批強大的神經網路；而後 TensorFlow 等繼承者讓神經網路的編寫逐漸變得像搭積木一樣簡單。深度學習的第一批探路者很多都是海外的知名學者，其背靠的深度學習框架也多是海外開發者建立與維護。從最開始蒙特利爾大學與伯克利大學提出的 Theano、Caffe 框架，到現在谷歌與 Facebook 維護的 TensorFlow、 PyTorch，深度學習框架的主流已經從學術機構轉向了科技巨頭。既然框架基本都是開源的，國內科技企業還需要重新自研一套嗎？答案是肯定的，之所以 DL 框架從高校轉移到企業，是因為AI從不是侷限於象牙塔裡的學問，而必須面向真實的場景問題；是因為它們能用於生產，能作用於各種實際業務。目前國內有很多技術領先的科技企業，它們都有著獨特的業務場景與問題。這為研發自主的深度學習框架，構建更完美的硬體、演算法系統提供了契機。百度開源的 PaddlePaddle 在自然語言處理等方面具有優異的積累；華為即將開源的 Mindspore，強調了軟硬體協調及移動端部署的能力。對於開源工具的選擇就像「什麼是最棒的計算機語言」這個問題一樣，開發者們各有偏愛也各有槽點，從目前形勢來看 PyTorch 和 TensorFlow 無疑是最流行的，國內的框架正積極發展。但作為計算機視覺技術全球領先的創業公司，曠視研究院內部卻從未用過 TensorFlow 或 PyTorch 來做 AI 技術和產品的研發。因為曠視成立當初，AI 開發工具就是匱乏的，曠視在拓荒的過程中形成了自己的一套打法，造出了自己用起來順手的一套工具。 2014 年，曠視研究院搭建了 Brain++ 的核心引擎——MegEngnie，並將這套演算法框架在公司內部推廣使用。隨著曠視在海量的計算機視覺任務和業務場景中的日積月累，這套深度學習框架在曠視已經被打磨的鋥亮，曠視有 1400 多名研發者，他們都在使用自己的框架訓練、部署演算法，即便有新同學加入也能快速學習上手，融入到曠視的研發生態中。
據瞭解，正是依託於這套貫穿公司研發全流程的框架，曠視開發出了一系列可部署在雲端、邊緣側以及移動端的深度神經網路。其中對業界影響較大的比如 ShuffleNet，這是一套極高效的、輕量化移動端卷積神經網路, 可以在基於 ARM 的移動裝置上實現比 AlexNet 快 20 倍的速度，效率比谷歌的 MobileNet 還要高。發展到今天，曠視 MegEngine 已經經歷了 5 年多的打磨，在深度學習框架的基礎上，曠視將這套 AI 開發工具升級為一個套件工具，將資料管理和計算資源統籌與框架整合為一個平臺——Brain++由此誕生，至少對於曠視來說，這套三位一體的演算法平臺是提升 AI 企業生產力的根本。正是有了這樣端到端的解決方案，曠視在世界各項人工智慧競賽中屢屢奪冠，2017 年至 2019 年間，曠視曾一舉拿下 COCO 三連冠。COCO 是人工智慧領域最具影響力的通用物體檢測挑戰賽，在計算機視覺領域享有很高聲譽。曠視這套生產力平臺的高效和易用性來源於實踐。依據業務的真實需求構建框架，是一條更加面向實際的開闢之路，國內各大自主 AI 框架都在積極探索著它們的方向。而對於開發者而言，跟著它們探索的成果，就能針對國內業務場景做出最合適與好用的演算法。正因為自主 AI 框架很有意義，曠視等公司的努力，也得到了國家的支援。2019 年 8 月，在 WAIC 人工智慧大會上，曠視和華為、京東、中國平安、小米等企業一同入選了國家人工智慧開放創新平臺。在影像感知方面，科技部宣佈將基於曠視自主研發的人工智慧演算法平臺 Brain++ 及整合能力建設「影像感知國家新一代人工智慧開放創新平臺」，該平臺將面向全國科研人員開放，幫助實現先進深度神經網路在雲端、移動端及邊緣端計算平臺的部署。輕快好省，曠視 MegEngine 從自用走向開源曠視內部研發人員根據自用經驗介紹，MegEngine 的架構先進且支援訓練推理一體化，開發者可以利用最新的技術、最合理的 API、最好用的展現方式實現自己的構想，在效能、易用性等方面都有獨到的特點。目前，曠視 MegEngine 主要支援曠視內部的演算法開發工作，尤其是計算機視覺的深度最佳化等和大規模分散式訓練。經過 5 年工業實踐與「身經百賽」的驗證，曠視 MegEngine 正逐漸走向成熟，一些獨有的特性也逐漸凸顯。首先在運算速度上，曠視 MegEngine 具備高效能運算核心，動態靜態結合的記憶體最佳化機制運算速度更快，且佔用更少的記憶體資源；其次在易用性上，MegEngine 封裝了平臺細節，且介面相容 PyTorch，新人使用者可快速上手；最後，MegEngine 還支援多種硬體平臺和異構計算，整個框架既可用於訓練又同時支援推理，實現模型一次訓練，多裝置部署，能夠免除了不必要的轉換流程導致的效能下降和精度損失。除以上效能，MegEngine 據稱也為 IoT 和視覺任務進行了特別的最佳化，廣泛支援各種晶片。透過領先的量化計算支援，其可以透過統一量化模型來支援多種裝置，同時支援低於 8bit 的網路推理。坐穩計算機視覺大廠、AI 獨角獸位置的曠視，在 AI 產業的路上一路披荊斬棘，如今他們希望將自己用得得心應手的開發工具透過開源、開放的方式 回饋後人，幫助高校師生、傳統產業和中小企業用於人工智慧演算法開發，以期降低傳統產業與人工智慧技術融科的門檻，激發更多人參與到人工智慧生態的建設中來。據埃森哲近日釋出的《人工智慧:助力中國經濟增長》報告預測，到 2035 年，AI 有望將中國經濟年增長速度從 6.3% 重新提升至 7.9%。在未來，人工智慧將為經濟發展貢獻力量，而在這個過程中，我們會掌握越來越多屬於自己的核心技術。曠視 MegEngine 的開源，或許會成為一個開始。