人工智慧硬體創業不能遺忘的4S機遇

幾乎每一個講者都會提及Scalablity，從框架到實現。無論是Tensorflow還是Caffe，各個框架平臺都需要考慮面向不同硬體執行深度學習網路的完整性、一致性。而那些對於需要實現成實際產品的工程，比如自動駕駛（Google Waymo等）、語音助手（Amazon Alexa等），高效的選擇硬體規模更是一個需要攻關的主要難題。可規模化擴充套件的能力(Scalable）成為每個能廣為使用的人工智慧實現的剷平必須具備的特性。

Reference: Y. Jia, Caffe Talk

其實，歸根結底，Scalabe是因為硬體總是有限的。過去幾年，人工智慧網路已經從AlexNet、VGG-19的淺層網路的迅速成長成超深層的ResNet，以及多個網路相輔相成的生成對抗式網路（Generative Adversarial Network）。雖然，以NVdia為首的硬體公司也在不斷突破，但是其增長速度恐怕無法與目前的神經網路相媲美。

因此，對於每一個深度學習神經網路的實現，在每一個層次實現時，除了計算的高效性外，將大規模網路裂解（partition）並且對映（mapping）到有限的硬體上就成為了一個踏踏實實的問題。表現在介面設計、資料結構的選擇等各個層次。而只有那些可以規模化擴充套件的人工智慧硬體，才能在演算法日新月異的今天立於不敗之地。

如果你還覺得感測器和人工智慧計算是兩個完全獨立的模組的，恭喜你，你已經被時代拋棄了。大會上，北京文安與Bosch都秀出了新一代的影像感測/VR感測器。毫無例外的，人工智慧演算法已經與感測器擁抱，同時出現在前端。

Reference: R. Liu, Bosch Sensor Talk

感測器，作為實時推理（Real-time Inference）的最前端，是模擬訊號與數字化的人工智慧演算法間的橋樑。他可以是攝像頭，可以是lidar/radar，可以是音訊，林林總總。當訊號越原始，越早地進入神經網路處理，他就越容易帶來意想不到的效果。緊密擁抱感測器的AI演算法已經在end-to-end Learning領域迸發出了不一樣的火花。未來的人工智慧硬體，將不可逆地與感測器結合，成為IoT時代的大趨勢。

每天醒來，你喚的第一個名字叫做Alexa，每天睡去，最後一聲唸叨的是Siri，基於人工智慧的語音綜合（speech synthesis）已經成為了我們生活中不可缺少的一部分。甚至，未來的騷擾、詐騙電話都會用到AI Sythesize技術。

Reference: L. Deng, Microsoft Chatbot Talk

可以被綜合的難道僅僅是語音麼？Chatbot們已經學會用自然語言調戲人類，新一代美顏濾鏡會造出以一個個印象派的蒙娜麗莎，自動駕駛的車輛們，直接生成方向盤指令。基於Policy Evaluation的增強學習（Reinforcement Learning）已經革多少人的命？更勿論，生成對抗學習的大boss已經磨刀霍霍向豬羊。

所以硬體創業者們，classification/inference的年代早已隨歲月順水流，未來的硬體的機遇已經超越了理解人類的範疇。這將是一個機器能與人溝通的年代。以綜合（synthesis）為目標的人工智慧硬體正向我們走來。

總是改變生態的G家大神總在你意想不到的給大家送福利。比如正式出版的Tensorflow 1.0提供了不少基於圖片識別的預訓練（pre-trained）網路，基於Inception結構。對於很多智慧開發者而言，只需要根據實際情況，對最後一到兩層的全連結（Fully connected layer）訓練下，就能達到玩美智慧的效果。高效、省時、省力、省硬體。

同樣的故事發生在Baidu和Amazon的語音識別系統中。大家不約而同的發現，對於不同語言的識別系統，其實只要訓練輸出層（output layer）就能得到相近的結果。而省去RNN/CNN層訓練就好像是時間的饋贈，來自上天的禮物。

Reference: N. Storm, Amazon Alexa Talk

這樣的饋贈何嘗只是演算法層面的專屬？首先，可節省（savable）的實現方法讓硬體在合理安排儲存空間和可配置維度上帶來的新的啟示。同時，若硬體的可重複使用率提升到了新的高度，那將對雲端/終端的AI計算資源配置比關係提出一輪新的思考與挑戰。其次，面向成熟體系框架framework的硬體，對於客戶和使用者來說，本身就是一種節省。如果有合適的scalable介面和complier，在inference端的對映也將朝向更簡約、更低門檻的方式前進。只有充分體會到這一點，完善與框架的介面的設計，才終將改變AI硬體的大潮流。