近些年，AI科技革命為世界和人們的生活帶來巨大改變，而這一輪AI浪潮爆發的核心就是深度學習。2014年，商湯科技自主研發了深度學習訓練框架SenseParrots，成為商湯發展原創AI技術的基石。

日前，在2019世界人工智慧大會上舉辦的WAIC開發者日活動上，商湯科技聯合創始人、香港中文大學-商湯科技聯合實驗室主任林達華，分享了《SenseParrots：AI計算平臺從技術到價值之路》的主題演講，講述了商湯如何走上自研訓練框架的道路，如何一步步地把它從一個技術框架發展為一個工業級的模型生產平臺，為商湯以AI技術賦能百業提供有力的支撐。

如下為林達華演講的重要部分節錄：

女士們，先生們，各位朋友，早上好。感謝機器之心提供了這麼好的機會，讓對深度學習框架有興趣的朋友在一起進行交流。我也非常榮幸能在這裡和大家做分享。

今天，我想和大家講一個故事，一個關於商湯原創的故事。在這個故事裡，我希望和大家分享，我們如何走上自研訓練框架的道路，如何一步步地把它從一個技術框架發展為一個工業級的模型生產平臺，為商湯以AI技術賦能百業提供有力的支撐。

增長的算力和應用場景促進AI成功

讓我們從身處的這個大時代講起吧。正如我們在這個大會上可以見到，這幾年AI科技革命已經給我們的世界、我們的生活帶來了巨大的改變。

這一輪AI浪潮的爆發，在我看來，不是單一要素的結果。它是深度學習演算法、以GPU為代表的高效能算力、以及大資料的積累，歷史性地匯聚在一起而促成的。過去七八年深度學習波瀾壯闊的發展歷程中有幾次重要的標誌性事件：2012年AlexNet獲得了影象識別的突破，並在當年ImageNet比賽奪冠；接下來，新的網路結構層出不窮，從VGG到ResNet，影象識別的準確率不斷被重新整理；到了2017年，深度學習在自然語言處理也取得了重大突破；2019，從零開始訓練的AlphaGo Zero橫空出世。這些事件，一次接一次地點燃了人們對AI的熱情和憧憬。

當我們從一個大的時間尺度去觀察，我們會發現，這些成就的背後，不僅僅是演算法模型的改進，它也蘊含著另外一個重要的趨勢，就是算力的指數增長。這幾年，新模型所需要的算力持續增長，從AlexNet到AlphaGo Zero，短短几年，算力增長超過30萬倍。

從某種意義上說，這幾年AI的巨大成功，其實是指數增長的算力和有價值的應用場景發生連線的結果。而深度學習框架是這種連線背後最重要、最核心的技術支撐。

原創之路 異常艱辛

在這一輪AI科技浪潮中，商湯走到今天，成為一個領先的Al企業，核心在於兩個字：原創。現在，深度學習可以說是家喻戶曉，可是在七年前，這個名詞還沒有多少人知道。在2012年，整個CVPR接收的論文之中，只有兩篇和深度學習有關，都是來自於我們實驗室。2013年，ICCV有8篇深度學習相關的論文，6篇是來自我們。因此，我們在GTC 2016年被評為世界前十人工智慧先鋒實驗室之一，也是亞洲唯一入選的。我想這段小歷史很好地詮釋了商湯的原創精神。

在我們最初探索深度學習的時候，沒有TensorFlow，沒有PyTorch，甚至沒有GPU。我們需要手寫C++程式來完成整個計算過程，訓練一個模型需要一兩個月。正是在這樣的環境中，我們一步步開拓出深度學習的視覺應用之路；也正是因為經歷了這樣的艱辛，我們深切地認識到訓練框架的核心意義，可以說，訓練框架定義了演算法研發的空間，框架的空間有多大，我們就能走多遠；框架的能力有多強，我們就能走多快。

因此，從商湯建立之初，我們就決定了要研發自己的訓練框架。這背後有三點考慮：第一，我們在研發過程中會有很多和社群不一樣的需求，我們需要及時提供技術支援；第二，當我們有了自研的框架，在演算法和技術上有底氣選擇自己的發展道路，而不受制於開源框架提供的能力；第三，我們希望在研發訓練框架的過程中，不斷建立我們在基礎系統層面的核心技術積累，讓我們不僅在演算法層面也在系統層面走在前列。

我們把這個訓練框架命名為SenseParrots，這個名字寄託了我們良好的祝願，聰明美麗，又能自由飛翔。

SenseParrots破繭化蝶

從2014年到現在，將近5年時間，SenseParrots和商湯共同成長。在2015年，我們幾乎和TensorFlow同時推出第一代SenseParrots在內部發布並投入使用，率先具備了多機多卡聯合訓練和多路徑執行等領先業界的特性。

三年之後，第二代SenseParrots釋出，這一代它不但具有了一系列更加重要的、靈活的、高效能的特性，而且也逐漸成為了商湯賦能AI產業的戰略支撐。

第一代SenseParrots專注於靜態網路多機多卡的優化。通過對計算排程、記憶體分配、資料IO、通訊協同等聯合深入優化，它在2015年釋出時已經在靜態卷積網路訓練上展示了超越同時代開源框架的卓越效能。

通過極致的記憶體優化，SenseParrots可以在有限的視訊記憶體裡訓練超大型的網路；通過通訊和IO的優化，它實現了在64卡上接近線性的加速。

在這第一代SenseParrots上，我們訓練了一個1207層卷積神經網路，這是已公開的最深的卷積神經網路；我們還研發了PolyNet，打破了當時單網路在ImageNet影象識別上的效能記錄，並把這個記錄保持了將近一年。有了這些效能強勁的網路支援，我們在ImageNet和ActivityNet等一系列比賽中取得多個冠軍。

商湯目前已經建立了完整的平臺技術棧，它從底而上分為四個層次。最底下是基礎系統，主要提供儲存、網路、任務排程、叢集管理等基礎的系統能力；在基礎系統之上，我們建立了SenseParrots。第二代的SenseParrots已經從一個單一的訓練系統，發展為一個具有全方位能力的AI模型生產體系。在這個體系裡面，我們發展了一系列包括從表達、編譯、排程、計算、通訊、以及模型部署的一系列技術模組。在SenseParrots的支援上，我們建立了演算法工具鏈，裡面包含了商湯業務所需的各種基本演算法元件；最上面一層，是各個垂直業務方向的應用平臺。

深度學習走出實驗室邁向產業落地

雖然我們取得了一些成績。但是，AI的發展可謂一日千里。如果我們不能把握技術發展的脈絡，就會落後於時代。

當時間來到2015年，深度學習這個領域也開始發生了很多深刻的變化。最重要的一個變化是深度學習技術開始走出實驗室，邁向大規模的產業落地。在這個大趨勢下，技術層面也呈現了很多新的趨勢：

首先，程式設計模式從靜態網路結構描述向動態計算過程轉變，這讓我們可以研究更靈活的演算法，表達在工業級場景所需要的更復雜的邏輯。

第二，深度模型走出了實驗室機房，落地到了更多樣化的裝置，比如手機、攝像頭、汽車和機器人。

第三，大家的注意力開始從在各大比賽中刷榜，逐漸轉到了更有價值的工作，在真正的產品中落地。我們不再不惜代價地追求大模型高精度，而是更多地關注效能和代價的平衡。這種新的追求催生了很多新的探索，比如像Mobile Net這樣專為移動端設計的網路結構，又比如量化和模型壓縮。

第四，人們開始關注生產力的價值，讓AI去解決AI研發過程中的重複勞動。因此，各種自動化方法，比如自動設計網路結構、自動設計損失函式等等開始成為新的熱點。

在這些繁花似錦的技術和應用創新背後，我們可以看到，AI的技術發展從單一的精度競賽，變成了多元的價值追求。這是任何一項技術從實驗室走向產業的必經之路。

AI產業化所帶來的新技術趨勢、更多元的追求，也給訓練平臺的未來發展提供了新的空間。

雖然在過去的幾年，主流的開源框架比如TensorFlow和PyTorch的生態逐漸成熟，但是它們更多是面向普及應用的，它們所提供的能力和AI產業化的需求依然存在著很大的距離。

我們的願景是讓AI賦能百業，就不可避免需要面對上面的這些問題。對於SenseParrots來說，這是挑戰，也是重要的機遇。

商湯經過近五年的發展，已經讓AI技術深入落地到十幾個行業，為數以百計的大型企業賦能。這種廣泛而深入的落地實踐，是AI計算平臺研發的豐沃土壤，也是我們的獨特優勢。紮根在商湯的業務土壤，我們能在第一線深切瞭解到AI產業化的主要挑戰和痛點，也走出了不同於主流開源框架的差異化道路。

我們的定位，是打造一個面向AI產業賦能的計算平臺。具體來說，我們的平臺有三個重要的研發目標：首先，全面支援業務範疇內的工業級應用，特別的是支援工業級模型，包括具有複雜邏輯的動態模型的大規模訓練；第二，針對我們的業務場景，進行極致優化，建立產品級的核心競爭力；第三，我們也關注研究員的生產力，全面提高研發和產品迭代的速度。

因此，在第二代SenseParrots研發過程中，我們超越了對個別效能指標的追求，以更加全域性的角度審視我們的發展路徑，力求真正為AI產業賦能帶來價值。我們憧憬十年之後，在我們的世界裡AI將會無處不在，在這樣的世界裡，AI不會取代人類，它將在我們的生活，在我們的工作，在我們世界的方方面面，成為我們最可信賴的技術。我們正在朝著這樣的願景，朝著這樣的目標努力，也希望與在座的各位共勉。

謝謝大家。