TensorFlow技術主管Peter Wardan：機器學習的未來是小而美

大資料文摘授權轉載自OReillyAI

想象一下這樣一個世界：數千億臺裝置不僅收集資料，而且會將資料轉化為可操作的意見，而這些意見可以改善數十億人的生活。

而要做到這一點，我們需要機器學習。但是一般來說，機器學習會消耗大量的系統資源。因此，低功耗，低成本的機器學習是目前需要探索並尋求突破的。

與此同時，深度神經網路也越來越多地被應用於改進很多東西，從廣告系統到自動駕駛汽車原型，因此，它們也註定要改造微型計算機（即微控制器）。

因此，Pete在演講中指出，微型處理器、內嵌處理器是機器學習的未來。

Pete首先用Alexa做了一個小演示，展示了基於網路的機器學習模型如何在小型的、內嵌式的處理器上去執行的，以及它可以持續幾周的時間。

之所以選擇用Alexa演示，是因為這臺裝置沒有聯網，也沒有Wi-Fi和藍芽，它只是在20KB的模型上執行，這個微型處理器也只有幾百KB的記憶體。而這個模型僅僅靠鈕釦電池供電，就能獨立執行數週的時間。

這一點非常重要。因為全世界有2500億個微處理器，每年出貨量達到了 400億，每年都有20%的增幅，平均成本不到50美分。這樣的產品已經非常便宜而且無處不在。

此外，CPU如今也已經很便宜了，幾乎都是免費的。但是我們把處理器安裝到裝置上之後，卻要專門接電線為其供電，比如在機場，這個供電系統可能就要花幾千美金。

除了佈線問題，還在於，某些場合，比如手術室、工廠車間，可能並沒有合適的地方去增加電源插座等裝置。所以說，這非常不合理。能源供應問題成了很多裝置的限制因素。

以我們現在每天都離不開的手機為例。雖然手機不需要連線外部的電源，但它每天都需要充電。如果你有幾十個甚至幾百個電子裝置需要進行打理的話，那可能你所有的時間都花在充電上了。所以很多裝置，我們只好採取即插即用的辦法來供電。

智慧手機的能耗情況如何，為什麼總要頻繁充電？請參考以下資料：

• 顯示器大約使用400毫瓦

• 有源蜂窩無線電大約使用800毫瓦

• 藍芽大約使用100毫瓦

• 加速度計使用21毫瓦

• 陀螺儀消耗130毫瓦

• GPS消耗176毫瓦

如果我們把手機的能耗降到1毫瓦以下，那麼僅僅一枚鈕釦電池就能支援手機執行一個月。我們需要在這樣的能耗限制下進行設計，才能保證無所不在的微處理計算和人工智慧技術相得益彰。

現有的CPU做計算本身是基本沒有功耗的，它可以把功耗降到幾百微瓦的水平，感測器也是如此。比如，麥克風的功耗也非常低，還有圖形感測器。麥克風可能是幾百微瓦的水平，感測器也是可以降到1毫瓦的水平。

因此，微處理器和感測器可以把功耗降到非常低的程度。低功耗的解決方案大大提升了感測器收集資料的能力，它們能夠更頻繁地檢視需要的資訊。

然而，雖然感測器能夠以很低的功耗獲得巨量的資料，但是這些卻沒有得到充分的應用。

比如，幾年前，一家衛星公司，能夠拍攝很多高清晰度的圖片。但是因為頻寬的問題，每個小時只能下載幾百MB的資料，所以衛星和地面的通訊成本太高了，最終我們能得到的圖片只是很少的一部分。

此外，比如在工廠裡面的溫度計，它們可以獲取很多的資料。但是工廠並沒有那麼多的電力把這些資料上傳到雲端，所以很多資料也都被浪費了。

對於現有的這些問題，技術應該發揮什麼樣的作用？如何能夠把大量的感測器的資料利用起來，把它的價值發揮出來？能否降低裝置能耗？

Pete認為還有很大的市場等待科技去解鎖

機器學習在這方面就可以發揮非常重要的作用，具體來說，是深度學習。因為深度學習才能夠最有效地把這些混沌的、非結構性質的資料利用起來。

深度學習可以處理大量未標記的資料

很少有人意識到深度學習和微處理器（MCU）的匹配程度。深度學習實際上是基於計算，而不是依靠通訊或者資料讀取來執行的。因此，我們不需要很大的記憶體，也不需要大量訪問記憶體。這恰好也符合微處理器的設計，它只有幾百KB的記憶體，同時每秒可以執行幾千萬甚至上億次的指令。

所以我們可以用很低的功耗來滿足它的學習或者訓練目的。如果我們知道對於一個給定的神經網路系統，它需要5皮焦（pJ）的能耗來執行一個操作，如果用最小的圖象識別，它需要2200萬的浮點計算，那麼它將共需要5皮焦*22,000,000=110微焦（µJ）的能量來執行這個操作。如果每秒分析一幀，那隻需要110微瓦，如此，用鈕釦電池就能供一年的電量，而且不需要對現有的硬體改進。

谷歌的團隊曾在2014年開發了一個13KB的模型來進行語音識別，而蘋果也在做類似的研發工作。所以這些語音識別團隊，就可以在非聯網的微型處理器上來進行機器學習和訓練。

2017年，谷歌在Google I/O大會推出TensorFlow Lite，是專門針對移動裝置上可執行的深度網路模型簡單版。但當時只是開發者預覽版，未推出正式版。

2019年3月，TensorFlow Lite嵌入式平臺釋出了第一個實驗原型。這是由SparkFun構建的開發板的原型，它有一個Cortex M4處理器，具有384KB的RAM和1MB的快閃記憶體儲存。該處理器功率極低，在許多情況下功耗不到1毫瓦，因此它可以僅憑小型鈕釦電池執行很多天。

Pete在安卓開發峰會上介紹TensorFlow Lite

它完全在本地嵌入式晶片上執行，無需任何網際網路連線，因此最好將其作為語音介面系統的一部分。該模型本身佔用的儲存空間不到20KB，TensorFlow Lite程式碼的佔用空間僅為25KB的Flash，而且只需要 30KB的RAM即可執行。

TensorFlow Lite 的目標便是移動和嵌入式裝置，它賦予了這些裝置在終端本地執行機器學習模型的能力，從而不再需要向雲端伺服器傳送資料。這樣一來，不但節省了網路流量、減少了時間開銷，而且還充分幫助使用者保護自己的隱私和敏感資訊。

Tensorflow Lite被用來解決了移動裝置的影像分類、物體檢測、智慧聊天的問題。

深度學習最關鍵的在於，它特別適合把感測器的資料轉化為非常有價值的資產。

深度學習的一個「殺手」應用，也許在不久的將來就會實現，那便是：全語音的介面。這樣的介面用50美分的晶片就可以實現，同時，用一個鈕釦電池就可以維持一年的執行。如此一來，我們可以只用語音操控，而不再需要開關或者是按紐了。所有的機器、裝置都可以使用語音通訊的介面。

這種便宜的晶片還可以用於農業的用途，比如通過圖形識別可以用很低的成本來識別有害雜草，農業工作者便可以精準地施用農藥。

另外，還有預測式維護。我們可以預先知道哪些機器可以出故障。比如針對汽車故障，人不可能到汽車裡面去看發動機哪出了什麼問題，或者聽出馬達的聲音出現了問題，但是我們可以對模型進行訓練，把這些裝置直接插到系統裡面，不需要做新的佈線或聯網，這個裝置就可以直接告訴你：系統好像出問題了，裝置需要及時維護、維修。當然，這個模型並不需要持續上網發出裝置資訊，只是當要發生重大事故或者隱患的時候才會發出通訊。

未來的世界有更多的可能性，現在人工智慧對於我們，就像八十年代的電腦一樣。我們不知道它會發展成什麼樣子，但是我們可以想象一下我們目前面對的各種問題和挑戰，在工作中面臨的困難。如何用小小的晶片進行機器學習？這方面我們可以有新的角度去探索，也有新的研究成果去發揮作用。

Pete Warden是谷歌TensorFlow Mobile團隊的技術主管，曾擔任 Jetpac 的技術長，該公司於 2014 年被谷歌收購，因其深度學習技術優化，可在移動和嵌入式裝置上執行。他之前曾在Apple從事 GPU 優化影像處理工作。