AR眼鏡，機器學習領域的殺手級應用？

Facebook AI研究院的首席AI科學家Yann LeCun認為，AR（擴增實境）眼鏡有望成為機器學習從業者的理想挑戰目標——一個殺手級應用，因為它涉及了多個未解決的問題。

完美的AR眼鏡需要把對話式AI、計算機視覺和其他複雜系統結合起來，這些系統必須能夠像眼鏡那樣小巧，便於操作。低功耗AI不可或缺，這將確保合理的電池壽命，從而使得使用者擁有較長的可以佩戴和使用眼鏡的時間。

與蘋果，Niantic和高通這些公司一樣，今年秋天，Facebook確認了到2025年製造擴增實境眼鏡的計劃。

“對於硬體而言，這是一個巨大的挑戰，因為你的眼鏡可能帶有可在可變延遲下實時跟蹤視覺的攝像頭，因此在移動時……這需要大量的計算。你希望能夠透過語音與助手互動，以便助手一直在聽你的聲音，並且也會與你說話。您想要手勢[識別]，以便助手[可以執行]實時的手部追蹤，”他說。

LeCun說，實時手部跟蹤已經可以工作，不過“我們只是不知道如何以小巧的外形來做到這一點，同時功耗與AR眼鏡適配。”

“就更大的型號來說，功耗、效能和外觀，這些確實都超出了我們現在的能力範圍，因此必須使用人們從未想到過的技巧，神經網路就是其中之一。”他說。

變得更有效率

LeCun這個月在 上的“EMC2節能機器學習”研討會上發表了講話。他談到了硬體侷限性如何限制研究人員的想象，並表示好的想法有時候會在硬體太慢、軟體不易獲得或實驗難以重現時被拋棄。

他還談到了特定的深度學習方法，例如差分聯想記憶和卷積神經網路，它們構成了挑戰，可能需要新的硬體。差分關聯儲存器（軟RAM）是一種計算方法，目前已在自然語言處理（NLP）中廣泛使用，在計算機視覺應用程式中也越來越常見。

“未來幾年，深度學習和機器學習架構將發生很大變化。你已經可以看到很多這樣的情況了。現在有了NLP，城裡唯一的遊戲基本上就是變換網路（Transformer networks）。”他說。

他補充說，更有效的批處理和自我監督學習技術，可以幫助AI像人類和動物一樣學習更多，也可能有助於提高AI的能效。

在LeCun演講之後，麻省理工學院的電氣工程與電腦科學副教授Vivienne Sze談到了需要一種系統的方法來評估深度神經網路的需求。SlidesLive報導稱，在本週早些時候，Sze關於高效深度神經網路的演講是這次NeurIPS影片中備受關注的一個，獲得了相當多的點選率。

Sze說：“更大更遠的儲存器往往會消耗更多的電量”， 並指出“所有權重都不相等。” Sze還演示了Accelergy，這是MIT開發的一種能夠估算硬體能耗的框架。

除講座外，研討會的海報釋出會還展示了值得注意的低功耗AI解決方案。其中包括DistilBERT，這是谷歌BERT（Bidirectional Encoder Representations from Transformers）的輕便版本，後者是Hugging Face團隊特別為在邊緣裝置上快速部署而製造的；以及SRI International和Latent AI對深度神經網路的量化比較。

許多知名人士呼籲機器學習社群應對氣候變化，並表示這種關注可以推動創新。上週在NeurIPS上的一次小組討論中，另一位 呼籲研究人員更重視影響氣候變化的機器學習上，並減少他們所獲得的出版物數量。

在接受VentureBeat採訪時，谷歌AI負責人Jeff Dean說，他支援建立“每瓦計算標準”的想法，以鼓勵使用更高效的硬體。

節約能源，保護地球

除了在NeurIPS上進行解釋深度學習演算法的理論工作外，會議上的許多工作都強調了將AI對氣候變化的貢獻考慮在內的重要性，其中就有一篇名為“能源使用報告：演算法責任中的環境意識”的論文。

該論文寫道：“必須對演算法的碳足跡進行測量並透明地報告，以便電腦科學家可以在環境可持續性方面發揮誠實和積極的作用。”

根據這一說法，會議的組織者早先建議，2020年向NeurIPS提交工作的AI研究人員可能需要分享他們提交供審議的工作的碳足跡。

美國研究機構AI Now Institute最近釋出的2019年報告，就將測量演算法的碳足跡納入了十幾項建議當中去，稱這些建議可以帶來一個更公正的社會。

在其他與節能有關的AI新聞中，Element AI和Mila Quebec AI研究所的機器學習從業人員上週推出了一種新工具，該工具可使用GPU訓練AI模型來計算碳排放量，從而根據使用時間長短和雲區域等因素預測能源使用情況。

朝著更高效的機器學習的方向發展，可能會帶來改變地球的創新。但是，大的想法和挑戰需要一個焦點——理論要讓人感覺更實際，需要解決實際的特定問題。LeCun認為，AR眼鏡可能是機器學習從業人員的理想用例。