AI演算法的進步超越了摩爾定律！

“摩爾定律將繼續改變世界，但演算法的進步對推動電子技術的發展越來越重要。”

現有的半導體晶片或正在開發的新計算架構仍然適合未來的演算法，我們對此有多大信心？隨著演算法的進步超過硬體的發展，即使是最先進的深度學習模型都可以部署在小到5美元的Raspberry Pi上。

在20世紀80年代的處理器上執行最先進的現代演算法，和在最先進的處理器上執行20世紀80年代的演算法，哪個算得更快？答案令人驚訝，通常都是在舊處理器上跑新演算法更快些。

雖然摩爾定律作為電子行業快速發展的驅動力而備受關注，但它只是一個驅動因素而已。我們經常忘記演算法的進步其實在很多情況下超過了摩爾定律。

Martin Groetschel教授觀察到，在1988年需要花費82年才能解算的一個線性程式設計問題，在2003年只需要一分鐘。其中硬體加速佔1000倍，而演算法進步佔43,000倍。同樣，麻省理工學院教授Dimitris Bertsimas的研究表明，1991年至2013年間，混合整數求解器的演算法加速是58萬倍，而峰值超級計算機的硬體加速僅增加了32萬倍。據說，類似的結果也發生在其他型別的約束優化問題和素數因子分解中。

 這對AI意味著什麼？ 

過去五年來，無論學術界、工業界還是創業界，都見證了人工智慧（AI）的爆發。可能最大的拐點發生在2012年，當時來自多倫多大學的AlexNet團隊，使用深度學習一舉贏得了ImageNet大規模視覺識別挑戰賽（ILSVRC）的冠軍。從那以後，深度學習成為了人工智慧實現的關鍵配方。

計算機視覺的進步開始蔓延到自然語言處理和其他AI領域。智慧音響、實時計算機翻譯、機器人對衝基金，以及網路參考引擎，不再讓我們感到驚訝了。

AI也成為了交通運輸行業的驅動力（這也是Autotech Ventures公司的投資領域）。我們預見到，高階駕駛輔助系統（ADAS）、自動駕駛、車隊檢查、製造質量控制，以及車載人機介面等細分市場，具有巨大的發展潛力。到目前為止，Autotech Ventures已經對幾家專注於開發該領域AI解決方案的初創公司進行了投資，包括ADAS和自動駕駛、視覺檢測和邊緣計算。在分析這些商業機會時，演算法和硬體之間的相互作用是其投資決策中的一個關鍵考慮因素。

 公眾對AI硬體的關注 

基於深度學習的AI在其拐點之後出現了對圖形處理單元（GPU）的強勁需求。由於具有很強的平行計算能力，GPU對於深度學習演算法所採用的邏輯恰好具有驚人的執行效率。GPU的主要供應商英偉達（NVIDIA)從競爭中脫穎而出，其股價從2013年到2018年上漲了20倍。

當然，英偉達的競爭對手正在努力追趕。高通、Arm和其他公司將注意力集中在了AI晶片的設計上，而英特爾則收購了AI晶片初創公司Nervana Systems。谷歌、Facebook、蘋果和亞馬遜都已紛紛為各自的資料中心及其他專案開發他們的AI處理器。也有一些初創公司（例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova）看到機會加入進來，試圖搭建設計得更好的圖靈機系統。像D-wave Systems和IBM等其他一些公司也在積極探索後圖靈時代的架構。大多數晶片開發的目標是趕上或超過英偉達。然而，據我們所知，大多數處理器都是針對今天的AI演算法而設計的。

儘管需要巨大的前期開發成本，各種AI晶片設計的發展仍會進入寒武紀式的大爆炸。人工智慧的前景是如此誘人，行業玩家願意投入巨資開發硬體，以便與基礎數學演算法相匹配。但是，現有的半導體晶片或正在開發的新計算架構仍然適合未來的演算法，我們對此有多大信心？

考慮到演算法演變的速度和幅度變化是如此之快，許多替代AI晶片設計可能還沒有正式投放市場就已經過時了。我們推測明天的AI演算法可能需要不同的計算架構、記憶體資源，以及資料傳輸能力等。

儘管深度學習框架已經出現很長時間了，但直到最近才真正付諸實踐，這要感謝摩爾定律所預測的硬體的快速發展。最初的數學不一定是為工程實踐而設計的，因為早期的研究人員無法想象今天用1000美元就可以得到那麼大的算力。現今的許多AI實現都是使用最初的數學模型，朝著更加準確、簡單且更深層的方向發展，或者新增更多資料。這樣做很快就會消耗掉GPU的計算容量。只有一小部分研究人員專注於改進基礎數學和演算法框架的難題。

還是有很多機會認識並利用這些創新的的數學進步的。我們瞭解到的方法包括精簡冗餘的數學運算而減少計算時間，將卷積壓縮到較小的矩陣而減少記憶體需求，或者對加權矩陣進行二值化而簡化數學運算。這些是進入演算法進步的第一次嘗試，其發展之快已經開始超過硬體的進步。

例如，從加州大學伯克利分校的研究專案剝離出來的DeepScale 就是將用於高階駕駛輔助系統（ADAS）和自動駕駛的AI“擠壓”到汽車級晶片中（而不是GPU）。與僅使用演算法的物體檢測模型相比，他們的神經網路模型的運算速度要快30倍，同時在能耗和記憶體佔用方面也有很大的提升，足以在現有硬體上執行。

另一個演算法跨越式進步的例子來自艾倫人工智慧研究所（Allen Institute of Artificial Intelligence）的研究人員。他們使用一種採用神經網路二值化的新穎數學方法，已經證明可以大幅提高速度，同時降低功耗和記憶體要求。這樣就可能讓最先進的深度學習模型部署在售價僅5美元的Raspberry Pi上。其研究人員最近將這種演算法和處理工具獨立出來成立專門的公司XNOR.ai，以便在邊緣裝置上部署AI，並進一步推動AI演算法的進步。

有趣的是，新的二值化框架從根本上改變了最佳處理邏輯的型別。它們不再需要解決神經網路所需的32位浮點卷積，而只需要進行位計數操作——將功率平衡從GPU移開。此外，如果這些演算法與專門設計的晶片相匹配，則可以進一步降低計算資源需求。

演算法的進步不會停止。有時需要數年甚至數十年才能發明（或者可能發現）新的演算法。這些突破無法以與摩爾定律推動的計算進步所相同的方式來預測。它們本質上是非確定性的。但是當它們發生時，整個格局的變化往往會使現有的主導者變成脆弱的獵物。

 黑天鵝 

Nassim Nicolas Taleb在他的暢銷書《The Black Swan: The Impact of the Highly Improbable（黑天鵝：如何應對不可預知的未來）》中闡明說，最佳決策在很大程度上取決於分析過程是不可預測還是不確定。換句話說，我們是在處理“已知的未知數”還是“未知的未知數”？演算法創新從根本上是未知的未知數。投注到這些發展上需要持續關注，因為它們具有不確定的發現時間和不可預測的影響。

然而，在過去的二十年中，在應用數學領域，尤其是人工智慧方面，出現了幾個顛覆性的演算法發現。它們與GPU一起，將AI從一個不起眼的研究領域帶到了商業化的最前沿。

我們認識到這些計算領域“黑天鵝”的潛力，它們將使現有晶片架構成為過去，或者一夜之間重新洗牌。對我們來說，這些黑天鵝可能會帶來更為安全的自動駕駛汽車，以及許多其他未知的應用。

- Alexei Andreev博士是Autotech Ventures投資公司的執行董事，Jeff Peters博士是公司首席研究員，Autotech Ventures是一家專注於交通相關技術的風險投資公司。（宣告：DeepScale和XNOR.ai是Autotech Ventures投資的初創公司）

來源 | EDN電子技術設計

演算法數學之美微信公眾號歡迎賜稿

投稿郵箱：math_alg@163.com