演算法信仰的力量：改進演算法能提升多少效能？

banq發表於2021-10-18
演算法

與硬體的摩爾定律相比：摩爾定律的硬體改進會隨著時間的推移順利進行，而對於演算法而言，帶來的收益雖然會很大但是發生的機率機會很小。
為了讓人們堅信對演算法的信仰，麻省理工學院電腦科學與人工智慧實驗室 (CSAIL) 的科學家開始研究：演算法改進能提升多少效能？
該團隊著手處理來自 57 部教科書和 1,110 多篇研究論文的資料，以追溯演算法何時變得更好的歷史。一些研究論文直接報告了新演算法有多好，而其他研究論文需要作者使用“虛擬碼”（描述基本細節的演算法的速記版本）進行重構。
該團隊總共研究了 113 個“演算法家族”，即解決電腦科學教科書中最重要的同一問題的演算法集。對於 113 箇中的每一個，該團隊都重建了它的歷史，跟蹤每次針對該問題提出的新演算法，並特別注意那些更有效的演算法。從 1940 年代到現在，從效能上看，相隔幾十年，該團隊發現每個系列平均有 8 個演算法，其中有幾個提高了效率。為了共享這個組裝的知識資料庫，該團隊還建立了 Algorithm-Wiki.org。
科學家們繪製了這些家族改進的速度，重點關注演算法分析最多的特徵——它們能保證解決問題的速度有多快（用計算機的話說：“最壞情況時間複雜度”）：
  • 結果是：有很大的可變性（不確定性）。

但也有關於電腦科學變革性演算法改進的重要見解：
  • 對於大型計算問題，43% 的演算法系列的同比改進等於或大於摩爾定律帶來的收益；
  • 在 14% 的問題中，演算法對效能的改進大大 超過了硬體改進帶來的改進。對於大資料問題，演算法改進帶來的收益特別大，因此這些改進的重要性在近幾十年來不斷增加。


研究人員表示：隨著摩爾定律即將結束的傳言（注意這是傳言）迅速滲透到全球對話中，計算使用者將越來越需要轉向演算法等領域來提高效能。該團隊表示，研究結果證實，從歷史上看，演算法帶來的收益是巨大的，因此潛力是存在的。（banq注：潛力總是存在的，當然更可能被量子計算這樣硬體迅速超越）
研究人員表示：隨著問題增加到數十億或數萬億個資料點，演算法改進變得比硬體改進重要得多。在計算的環境足跡越來越令人擔憂的時代，這是一種改善企業和其他組織而沒有負面影響的方法。
湯普森與麻省理工學院訪問學生 Yash Sherry 一起撰寫了這篇論文。該論文發表在IEEE Proceedings 上。這項工作由 Tides 基金會和麻省理工學院數字經濟計劃資助。
 
banq注：這也是搞人工智慧機器學習的公司最終會設計晶片的原因。

特斯拉人工智慧Dojo概述

相關文章