諾獎得主薩金特教授論“人工智慧的來源”

日前，2011年諾貝爾經濟學獎得主、北大匯豐薩金特數量經濟與金融研究所榮譽主任托馬斯·薩金特（Thomas J. Sargent)教授主編的《薩金特數量經濟與金融研究所時訊》（第四期）正式上線。其中，薩金特教授在其為時訊撰寫的獨家首發文章《人工智慧的來源》中，分享了對人工智慧與機器學習的理解與思考，以下為全文內容。

托馬斯·薩金特

作為一個並不全面的見證者，我在本文中描述了人工智慧與機器學習是如何被發明的，並列舉了該領域的重要人物以及他們的思想。

1

簡介

這篇文章與人類、人工智慧以及學習相關。我所謂的人工是指“非人類”。在描述人工智慧和機器學習之前，為了表達我對自然和人工智慧的理解，我將首先透過描述有智識的人類透過結合先天與後天技能來完成的兩類重要活動， 即識別模式和做出選擇。智慧的其他方面是對時間和空間的認識，以及對其他人的同情和共鳴。一代又一代的父母把從上一輩傳承的技能和觀點，以及自己學到的新思想傳給孩子。在描述了伽利略·伽利雷（Galileo Galilei）和查爾斯·達爾文（Charles Darwin）如何將他們的先天才能與教科書上的知識相結合，繼而創造出科學上的突破之後，我將講述現代研究人員如何設計出能夠識別模式和做出選擇的計算機程式⊃1;。

我在這篇文章裡提及了許多“樹”，即各種概念和技術，這對普通讀者來說可能是新事物，但我希望我對機器學習這片“森林”的描述是清楚的。若有讀者好奇地想了解更多複雜的“樹”，我建議他們使用專業線上搜尋引擎或檢視本文結尾處參考文獻中的內容。

2

人類智慧

我從認知心理學家史蒂芬·平克（Steven Pinker）的《白板》（The Blank Slate）第13章的內容開始講。平克這本書（2003）的第13章題為《走出我們的深淵》。如果你是高中生或大一新生，或是喜歡思考教育的目的，推薦你閱讀這一章。基於對人類認知障礙的理解，史蒂芬·平克對在高中和大學應該學習什麼內容以及為什麼學習提供了建議。他在開章描述了進化使我們自然擅長的一些技能，以及我們必須藉助學習才能獲取的其他技能。

在人類10萬年的歷史和史前史中，進化未賦予人類的那些技能其實並不重要。但是，現代生活使一些進化未賦予我們的東西變得前所未有地重要。平克總結出了四個此類學科。

1. 物理學 關於重量、時間、空間、運動、能量、熱和光的理論。

2. 生物學 關於生命、出生和死亡的理論。

3. 統計學 描述不確定性以及識別和解釋相對頻率的方法。

4. 經濟學 關於工作、生產、分配、價格和數量的描述。

在現代生活中，只有瞭解了這四個領域才能做出明智的個人和公共決策。但我們的“直覺”經常讓我們在這些領域中犯錯。出於行文目的，暫且將“直覺”定義為我們進化出來的能夠快速理解各種情況的思維方式。它的同義詞或許是“常識”，即我們本能地就能夠理解的東西。史蒂芬·平克描述了我們自然、直覺的理論在這四個領域中是如何將我們引入歧途的，只有透過受教育才能改進。

平克列舉了一些四個領域相關的絕佳例子，以說明我們的常識和直覺並不能幫助我們理解現代物理學。根據理查德·費曼（Richard Feynman）和其他傑出的物理學家的說法，“常識”難以幫助我們理解廣義相對論和量子力學。平克講述了我們如何進化出統計計算的能力，這種能力在過去靠狩獵和採集為生時很有幫助，它讓我們能夠計算一些事件出現的機率。但是，相比從前，今日的重要風險事件發生的機率非常低。而我們的自然稟賦不擅長應對小機率事件。因為在公共決策中無法正確平衡低機率風險事件的成本和收益，我們付出過昂貴的代價。平克描述了進化如何給了我們的祖先一套關於生產和交換的經濟理論，然而這些理論並沒能讓我們理解勞動分工、分配、市場、中間商、中介、穩定市場的投機行為和利潤。事實上，我們天生就誤解了這些東西，在反覆發生的針對中間商和貿易商、投機者和流動性提供者的徵用和大屠殺中，經常出現悲慘的後果，而受害者往往是少數民族成員。

這些認知缺陷為平克在該書第13章呼籲重新設計課程的建議提供了理論基礎。平克將教育描述為一種補償我們先天的認知限制、利用我們先天學習能力的技術。他呼籲對學術課程進行大刀闊斧的改革，傳授那些能幫助我們在現代社會享受生活和做出正確決定的技能：生物學、統計學和經濟學。他也承認，多教授這些科目意味著少教授其他科目。

2.1

人工智慧和我們天生的認知極限

透過閱讀第13章，我們可以瞭解人類是如何寄希望於“人工智慧”來補充並超越與生俱來的自然人類智慧。

這裡潛藏著一個悖論，即創造人工智慧和機器學習的主要技術工具來自物理學、生物學、統計學和經濟學，而這些領域正是我們先天認知有限的。換句話說，我們試圖在自己天生不擅長的領域創造人工智慧和機器學習。機器學習和人工智慧的早期先驅和實踐者透過透徹地學習以及富有想象力地使用現有的最最佳化分析技術，來彌補他們在自然認知方面的不足。

3

兩位機器學習的先驅

3.1

伽利略

Galileo Galilei

義大利物理學家、數學家、天文學家及哲學家

因為提倡地球圍繞太陽旋轉，17世紀初偉大的義大利數學家、科學家、物理學家、天文學家伽利略（1564-1642）最終被宗教裁判所逮捕。在被逮捕的許多年前，伽利略從事了一項研究，我認為這項研究演繹了“機器學習”方法的本質。伽利略（1）設計並進行實驗來收集資料；（2）反覆觀察資料，試圖發現模式；（3）透過擬合一個函式來減少資料的維度；（4）將該函式解釋為自然界的一般規律。伽利略的策略為機器學習和人工智慧的意義提供了一個絕佳例子，也許是第一個例子。

自然地，我說的是伽利略的“斜面實驗”以及他對資料進行的處理和降維。伽利略試圖發現控制落體動力的自然規律。也許你在想“這很容易，只要應用艾薩克·牛頓（Isaac Newton）的萬有引力定律就行了”。不要太著急下定論：牛頓這時候還沒有出生呢。當時被廣為接受的主流理論是亞里士多德（Aristotle）在2000年前宣稱的：較重的物體比較輕的物體下落得快。

伽利略想用實證方法來研究亞里士多德的理論。為什麼不直接扔下不同重量的球，以便測量它們下落的速度呢？伽利略無法這樣做，因為不論多重的球落下的速度都比當時的鍾能準確測量的速度快得多。因此，伽利略決定建造不同角度的光滑斜面，並調整角度，使落下的球的速度足夠慢，這樣他就可以用他擁有的時鐘測量它們沿平面的移動速度。對於一個長度l和高度h的平面，比率

決定了平面的角度。伽利略扔下一個球，仔細測量了球沿平面移動的距離d，將之計作球被扔下後經過的時間t的函式。他做了一個有兩欄的表格，其中記錄了ti 和di（i = 1,...），n為他在每個實驗中的n個測量時間。對於一個給定的實驗，他將di和ti繪製在一起。他對各種不同重量的球進行了實驗，設定了不同的l和h (即斜面的不同角度)。然後他凝視自己記錄的圖表，發現一個驚人的現象：在所有的圖表中，行進的距離與經過的時間的平方成正比，與球的重量和平面的角度無關。他推斷出一個公式：

請注意，出人意料的是，球的重量不在右邊的函式中。因此，球的下落速度顯然是與它的重量是無關的。因此，透過對他的實驗資料進行函式擬合，伽利略同時完成了資料降維和概括。他發現了一個自然法則，這個法則成為50年後艾薩克·牛頓思想的一個重要啟發。

伽利略的斜面實驗具有現代機器學習和人工智慧的所有要素。他一開始不知道世界是如何運作的，也沒有一個好的理論。他所做的完全是無理論的。所以他進行了一系列的實驗，收集了資料表，每個實驗一個表，以球的重量以及斜面的長度l和高度h為索引。他從許多資料表中推導 （即“擬合”）出一個函式，結果發現這個函式只由一個新數字決定，即“引數”。⊃2;

我並不完全理解是什麼啟發了伽利略去設計他的實驗，收集那些測量資料，並透過擬合函式來減少測量資料的維度。不過我確實知道伽利略擁有的工具，以及本可以幫助他、但他卻沒有的工具。尤其是，他不知道微分和積分計算——幾十年後,這些工具才被費馬（Fermat）、牛頓和萊布尼茨（Leibniz）發明出來。但伽利略確實非常瞭解幾何和代數，也十分熟悉歐幾里得（Euclid）和阿基米德（Archimedes）。如果沒有這些工具，純粹的靈感和對亞里士多德理論的懷疑態度是遠遠不夠的。⊃3;

3.2

達爾文

Charles Robert Darwin

英國的博物學家、生物學家、進化論的奠基人

下一個故事有關經濟理論在達爾文（1809 - 1882）的“自然選擇物種進化”學說中所起的作用。哈耶克（Hayek）（2011 年，附錄 B）引用了西蒙·N·巴頓（Simon N. Patton）於1899 年發表的一段宣告：“......正如亞當·斯密（Adam Smith）是最後一個道德家和第一個經濟學家一樣，達爾文是最後一個經濟學家和第一位生物學家。”

達爾文使用原始經驗主義和降維來構建他的理論。他不知道基因是什麼，也不知道DNA是什麼。他“知道”的是觀察他培育的鴿子和自然界的動植物所收集來的一個龐大的資料集。僅透過研究鴿子的資料，他就推斷出了三個基本原則中的兩個。

1.自然變異

2.新變化的統計繼承

作為一名鴿子育種者，達爾文利用這兩個原則來選擇理想的性狀，然後依靠統計遺傳來培育新的鴿子品種。幼鴿從父母那裡獲得了一些特徵。“查爾斯·達爾文的選擇”，而不是自然選擇指導其育種。有很長一段時間，達爾文並不知道在自然中選擇的原理是什麼。然後，他閱讀了托馬斯·馬爾薩斯（Thomas Malthus）的《人口原理對社會未來進步的影響》。馬爾薩斯描寫了一場鬥爭，這種鬥爭是因人口繁殖速度超過食物產量增速而引發的。在此前提下，食物的可得性制約著人口數量，個體需要為生存鬥爭。馬爾薩斯這方面的論證為達爾文提供了他缺失的那塊拼圖：從生存鬥爭中產生的自然選擇。出生的嬰兒數量超過了食物所能餵養的數量。達爾文（1859）的引言部分將其第三個基本原則歸功於馬爾薩斯。

3.競爭選擇——為了生存的鬥爭

一些傑出的博弈論者和經濟學家現在經常使用進化論作為經濟和社會動態的來源。也許這些人認為他們從達爾文那裡得到了啟發。但實際上達爾文理論的一個重要部分是從經濟學家那裡得到的。正如哈耶克（2011 年版，附錄 A）指出的，達爾文1838年對亞當·斯密的研究為他提供了生物進化自然選擇理論的一個關鍵組成部分。哈耶克（2011）還指出，文化進化論早在1800年之前就已被經濟學家和社會學家廣泛接受。

達爾文的研究策略是一個將龐大的資料集降維，以提取基於三個基本原則的低維模型的很好的例子。資料收集，運用三個基本原則進行資料降維，最後進行理論概括：多麼非凡的研究策略！

像伽利略一樣，達爾文也不是從零開始。他在生物學、地質學和經濟學方面都很博學。對這些領域既有知識的深刻理解是他能夠突破已知、進行創新的基礎。他是一個“宏觀”的人，因為他的理論的前兩個支柱，即新特徵的變異和繼承，並沒有“微觀基礎”。對於在他的三個支柱理論下，需要多長時間，生物的進化才能夠與古生物學與生物學已知的證據相符合，他也說得很模糊。⁴

4

人工智慧

上文都在談論人類的智慧和靈感，現在讓我們轉向人工智慧或機器學習。它是什麼呢？

我所說的人工智慧是指模仿人類完成一些“智慧”事情的計算機程式。“機器學習”主要是透過使用微積分和統計來完成模式識別。參照伽利略運用斜面實驗測量下落物體速度的方法，設計者開發出能夠進行機器學習和人工智慧的計算機晶片和程式。因此，將函式視為“如果-那麼”語句的集合。將“如果”部分想象為函式中的橫座標 x，並將“那麼”部分想象為y縱座標。使用計算機識別模式涉及：(1)將資料劃分為x和y部分，(2)猜測f的函式形式，然後 (3)使用統計的方法從不同的x和y資料中推斷f。“統計學”這門學科提供了用於推斷或“擬合”函式f的工具。

舉一個簡單的例子。假設在地球上的給定位置，您在一年中的每一天都記錄了從日出到日落的“白天”長度，在x軸上按照1到365記錄天數，在y軸上記錄從日出到日落的時長，製作一個以x和y為兩列的表格。該表有365乘以2等於730個數字。現在繪製並凝視它們。猜測函式y=cos(α +βx )

也許能很好地總結這些資料。使用微積分求使函式擬合得很好的兩個引數α，β的值，它們最小化了

你會發現這個函式擬合得很好（儘管不完美）。透過總結資料（也可稱為進行“資料壓縮”或“資料縮減”），我們得以找出了一個經驗法則（一個函式）來“概括”我們的發現，並可以使用這個法則來預測365天樣本以外的 “白天”時長。

5

人工智慧工具

機器學習和人工智慧的核心方法來自以下學科：⁵

1.物理學

2.生物學

3.統計學

4.經濟學

接下來我們將逐一分析這四個學科。

5.1

物理學

尤拉（Euler）、拉格朗日（Lagrange）和漢密爾頓（Hamilton）在18世紀和19世紀的研究成果擴充和完善了運用微積分最最佳化時變函式的積分方法。這為21世紀哈密頓·蒙·卡特羅（Hamiltonian Monte Carlo）的模擬技術奠定了基礎，該技術繼而推動了複雜的貝葉斯估計和機器學習的技術發展。克勞修斯（Clausius）、玻爾茲曼（Boltzmann）和吉布斯（Gibbs）在19世紀創造了用統計學來描述熱力學的概念。他們根據熵定義了熱力學第二定律，熵是似然比的期望值，即一個機率分佈與另一個機率分佈的比率。其中一個機率分佈是一個平坦的均勻分佈，它在統計上代表完全無序，另一個分佈則在精確的、統計學意義上代表“有序”。在20世紀末和21世紀初，熵為許多機器學習演算法提供了一種測量擬合模型的機率分佈與資料經驗分佈之間差異的方法。保羅·薩繆爾森 (Paul Samuelson) (1947) 和他的同事們將這些技術和其他技術從數學物理學引入經濟學，這將為人工智慧和機器學習更多工具的發展奠定基礎。

5.2

數學生物學

生物學從時間和空間上研究物種的繁殖和變異模式。模式可以從“宏觀”和“微觀”層面上檢測，這取決於研究的單位——個人、動物、DNA、RNA，或組成它們那些更小的分子。生物學的數學理論（例如，費爾德曼（Feldman，2014) 和費爾森斯坦（Felsenstein，1989）透過以隨機差分或微分方程的形式構建動態系統來將這些模式構成數學體系。在微觀層面，主要涉及將DNA編碼為二進位制字串，以便分析師在該字串上透過切割和重組進行突變和有性生殖的數學運算。例如，參見霍蘭德（Holland，1987)。

5.3

統計學

現代數理統計認為“機率”有兩種可能的含義：⁶

• 頻率論者認為，機率是在觀察一個非常大的獨立且同分布的隨機變數樣本後可以預期的相對頻率。

• 貝葉斯解釋，機率是關於未知隱藏“狀態”或“引數”的不確定性的主觀表達。

現代統計學運用一系列工具來：(1) 制定一個函式集，這些函式的具體形式取決於一系列引數，有時引數還取決於更高層的超引數；(2) 從樣本中推斷或“估算”這些引數；(3) 以一個理性人的角度，描述這些推斷的不確定性；(4)使用這些擬合函式的機率版本進行“樣本外”預測。這些機器學習的基本技術依賴於對微積分的應用，正如我們之前提過，伽利略當時並沒有這些工具。

5.4

經濟學

經濟學是研究人類群體如何有目的地利用和分配稀缺資源的學科。現代經濟理論是自洽環境中的多人決策理論。在一致的經濟模型中的抽象智慧人是“理性的”，因為他們處理有限最佳化問題皆基於他們對自身所處環境的共同、正確的理解。⁷ 這種多人決策理論的兩個主要類別是⁸

• 博弈論

• 一般均衡理論

這些理論中的主要因素和內容包括

• 約束

• 不確定性

• 去中心化和並行最佳化

• 交易網路的賬本

• 價格

• 競爭

在這些模型中，一個個體的決策規則構成了其他個體選擇問題的約束集的一部分。這種約束透過模型的 “均衡條件”產生。個體約束最佳化問題的解中，可以匯出個人價值，其中包含用以分配資源的有用資訊。

這些經濟模型描述了“並行處理” 和去中心化的決策過程。一個被稱為“均衡”的安排有助於調和不同個體之間的自私決策以及物理資源的限制。嚴格的均衡概念在這兩個主流框架中佔據主導地位。定義均衡是一件事，計算均衡則是另一回事。因此，著名的經濟理論家們多年來一直在與維度的詛咒鬥爭、尋求計算競爭均衡分配和價格體系的可靠方法。對這一事業做出了里程碑意義的貢獻的經濟理論家有艾羅與赫維克茲（Arrow and Hurwicz，1958）、艾羅（Arrow et al.，1959）、艾羅（Arrow，1971）、二階堂與宇澤（Nikaido and Uzawa，1960）以及斯卡夫（Scarf，1967）、斯卡夫（Scarf et al.，2008）。這些演算法運用了計算方案，追蹤個人和社會價值量，以及人們想要的商品和活動的數量與社會安排之間的差距。

計算均衡的研究工作最終發現，均衡的計算與有限理性個體向均衡的收斂之間具有密切聯絡。布瑞與克雷普斯（Bray and Kreps，1987）以及馬賽特與薩金特（Marcet and Sargent，1989）提出了“在均衡中學習”和“學習均衡”之間的重要區別。馬賽特與薩金特（Marcet and Sargent，1989）和薩金特（Sargent et al.，1993）透過使用隨機近似的數學方法（例如，見格拉迪夫（Gladyshev，1965））來研究向理性預期均衡的收斂。據我所知，關於隨機近似的最初工作始於霍特林(Hotelling，1941)、傅利曼與薩維奇（Friedman and Savage，1947)。他們試圖構建一種統計抽樣方法，來精確地解出一個未知函式在給定點的最大值。⁹

舒比克（Shubik，2004）和巴克（Bak et al. ，1999）的相關工作構建了一些博弈，他們利用這些博弈來思考價格制定者對均衡過程的促進作用。（在一般均衡模型中，只有價格接受者，沒有價格制定者）。舒比克的工作運用了他對一個課題的專業知識，這個課題存在於一般均衡理論和博弈論的夾縫中，對機器學習和人工智慧有重要意義，它就是：

• 貨幣理論

本著舒比克（Shubik，2004）的精神，思考貨幣理論的一個好方法是，注意到它的目的是解釋均衡價格向量是如何被實際生活在一般均衡模型中的個體設定的。艾羅和德布魯（Debreu）的經典一般均衡模型描述了均衡價格向量的特性，但對誰來設定這個價格向量以及如何設定卻保持沉默。相反，一個模型之外的“神靈”神秘地宣佈了一個價格向量，同時出清了所有的市場。一個均衡價格向量保證了每個個體的預算約束得到滿足。在一般均衡模型中，貿易是多邊的，預算約束在一箇中心化的賬戶中得到協調。相反，貨幣理論是關於一個分散的系統，該系統中的人們只是偶爾在一系列雙邊會面中見面，並透過使用“交換媒介”交換商品和服務。交換媒介可以是耐用金屬（金或銀）、代幣（便士、紙質“美元”或“英鎊”）、流通的債務憑證，或者銀行、清算所或中央銀行的賬目條目。奧斯特羅伊與斯塔（Ostroy and Starr，1974）、奧斯特羅伊與斯塔（Ostroy and Starr，1990），以及最近的湯森（Townsend，2020）總結了該流派的研究。加密貨幣理論是這些研究的直系後代。

我再介紹一下博弈研究對機器學習的貢獻。幾十年來，應用經濟學家已經構建了計算博弈均衡的演算法，支撐這些計算的關鍵工具包括逆向歸納法（動態規劃）和樹狀搜尋。由於要研究的可能狀態的維度呈指數增長，減少要研究狀態的數量對於在近似均衡方面取得進展至關重要。在這方面，minimax演算法和α-β剪枝搜尋演算法是主要的方法，可參考克努斯與摩爾（Knuth and Moore，1975)的著作和，可以瞭解α-β剪枝搜尋的描述，並看到相應的計算系統和“適者生存”的想法。一條相關的研究路線研究了一群天真地基於對手過去的行動進行最佳化的玩家是否會收斂到納什均衡。可參見蒙德勒與沙普利（Monderer and Shapley，1996）、霍夫鮑爾與桑德霍爾姆（Hofbauer and Sandholm，2002）、福斯特與楊（Foster and Young，1998）、弗得伯格（Fudenberg et al.，1998）。當收斂成立時，這種“虛構遊戲”演算法提供了一種計算均衡的方法，可參見蘭伯特三世（Lambert Iii et al. ，2005)。

5.5

約翰·霍蘭德（John Holland）在約1985年提出的人工智慧願景

John Henry Holland

美國科學家、複雜理論和非線性科學的先驅、遺傳演算法之父

著名的電腦科學家約翰·霍蘭德⊃1;⁰是一位先驅者。他結合了我們提到的所有技術領域的思想，為生活在給定環境中的決策者構建了計算機模型。在這種環境中，決策者別無選擇，只能按照艾羅（Arrow，1971）的思路，“在實踐中學習”。霍蘭德（Holland，1987）介紹了他的這一方法，馬裡蒙（Marimon et al.，1990）描述了在多人經濟環境中的具體應用。霍蘭德方法的一個重要部分是全域性搜尋演算法，他稱之為“遺傳演算法”。它透過用字串表示函式的引數來搜尋“崎嶇不平的景觀”，這些字串可以被隨機匹配成一對字串，並進行切割和重新組合。這是霍蘭德表示“性繁殖”的機械方式。這樣的“遺傳演算法”包含了他所說的“分類器”系統的一部分。霍蘭德的分類器系統包括：（1）一連串的“如果-那麼”語句，其中一些必須相互競爭，以獲得線上（即實時的）決策權。(2)一種將“如果-那麼”語句編碼為二進位制字串的方法，該字串可以進行隨機突變、切割和重組；(3)一個為單個“如果-那麼”語句分配獎勵和成本的計算系統；(4)破壞和建立新的“如果-那麼”語句的程式，包括基於DNA切割和重組的隨機突變和有性繁殖；以及(5)一種篩選出適合決策規則的競爭性鬥爭。霍蘭德分類器系統已經被證明能夠學會在動態環境中保持耐心，就像拉蒙·馬裡蒙（Ramon Marimon）總結的那樣，在由霍蘭德的人工智慧個體組成的世界中，“耐心需要經驗”。霍蘭德分類器成功地計算出了一個動態經濟模型的“穩定”納什均衡，該模型的作者們事先並沒有意識到這個均衡的存在，儘管事後，他們能夠驗證霍蘭德分類器交給他們的“猜測”。可參見馬裡蒙（Marimon et al.，1990）的介紹。

5.6

當今的人工智慧

DeepMind的計算機程式AlphaGo實現了一項了不起的成就，它成功地掌握了圍棋遊戲，並打敗了人類圍棋冠軍選手。可參見王（Wang et al.，2016）。AlphaGo的創造者所採用的方法讓我想起了美食的烹飪過程——在一把原料中加入一丁點另一種原料，品嚐一下，再加入其他原料……在烹飪AlphaGo的成分中，包含了從動態規劃、湯普森取樣（見湯普森（Thompson，1933））和隨機逼近（見霍特林(Hotelling，1941）、傅利曼與薩維奇（Friedman and Savage（1947））、α-β樹搜尋（見克努斯與摩爾（Knuth and Moore（1975））、Q-學習（見沃特金斯和達揚（Watkins and Dayan（1992））；蒙特卡洛樹搜尋（見布朗（Browne et al.（2012））收集到的靈感。引數調整的經驗法則選擇是很重要的，它可以在“探索”和“利用”之間進行權衡（弗得伯格與克雷普斯（Fudenberg and Kreps，1993）、（Fudenberg and Kreps（1995）中也是如此論述的）。

機器學習的其他最新進展也引入了大量經濟學和統計學的方法。計算最優運輸問題（例如，佩雷（Peyr´e et al.（2019））使用丹齊格（Dantzig）、康託羅維奇（Kantorovich）和柯普曼斯（Koopmans）的線性程式來衡量理論機率和經驗測量之間的差異。然後，它使用該衡量方法來構建一種高效的計算方式，以匹配資料和理論。經濟學家霍特林（Hotelling，1930）用黎曼幾何來表示統計模型的引數化系列。這個想法開啟了計算資訊幾何學的先河，阿瑪裡（Amari，2016）將這種方法系統化了。

6

創造力的來源：模仿和創新

我描述了伽利略和達爾文是如何透過對前人研究結果和方法的掌握，並將其與前所未有的洞察力相結合，從而發現新的自然規律的。對先例的尊重，以及他們冒險超越的能力，是這兩位天才的成果的突出特點。後來許多天才也採用了同樣的方法，如電磁學的發現，以及富蘭克林（Franklin）、戴維（Davy）、法拉第（Faraday）、麥克斯韋（Maxwell）、邁克爾遜（Michaelson）、莫利（Morley）、愛因斯坦（Einstein）的一系列發現。他們每個人都不是從“白板”（湊巧的是，這恰好是上述平克著作的標題）開始，而是從他們對前人的深刻理解和尊重開始的。每個人都看到了他們的前輩沒有看到的東西，往往是因為他們採用了改進的觀察或推理方法。透過運用法拉第不知道的數學，麥克斯韋組織了一個令人驚歎的統一和概括，將電磁動力學的法則減少到12個方程，而海維斯德又很快將它減少到四個方程。這四個方程為愛因斯坦的狹義相對論創造了條件。⊃1;⊃1;

看似與電磁學毫不相關的純理論數學，卻與後來電磁學的發現恰好吻合。為了將幾何學轉換為代數並寫成函式，笛卡爾（Descartes）發明了一個座標系統。50年後，牛頓和萊布尼茨利用笛卡爾座標系發明了微分和積分。十九世紀上半葉，高斯（Gauss）和他的學生黎曼（Riemann）完善了基於平行線相交的曲面幾何。裡奇（Ricci）在此基礎上增加了一個明確的曲率概念。

愛因斯坦將這兩個獨立的、看似“毫不相關”的研究工作結合起來，一個是實際的物理現象，另一個是純粹的抽象數學。愛因斯坦在努力擴充套件其狹義相對論時，學會了如何使用黎曼幾何和裡奇曲率，構建了一個自洽的廣義相對論。⊃1;⊃2;

科學進步展示了“模仿”和“創新”兩者之間的互動，這種互動在現代經濟增長理論中也有所體現（例如，見班哈波柏（Benhabib et al.，2014）和班哈波柏（Benhabib et al.，2020））。在“模仿”階段，電磁學、相對論和數學領域的先驅者主要是複製前輩和老師的技術；在“創新”階段則是在某種程度上超越前輩和老師，因為他們比老師學得更多、理解得更深。

7

結論性評述

透過對物理學、生物學、統計學和經濟學中的觀點的概述，我希望證明一個主張：即平克Pinker（2003）認為我們在認知上有先天侷限的學科，正是被用來創造人工智慧和機器學習的學科。這正是在學期間和離開學校以後繼續學習這些學科的又一個理由。在我看來，它們自身的美則構成了另一個理由。

腳註1：哈耶克（Hayek, 2011, 附錄A）討論了自然和人工的其他定義。

腳註2：時至今日，觀察科學家如何應用機器學習和人工智慧，你會看到這些聰明人蒐集了大量資料、然後以之擬合函式。De Silva et al. (2020)與Brunton and Kutz (2022)是其中兩個漂亮的範例。

腳註3：為了找到埋藏在第谷·布拉赫 (Tycho Brahe) (1546-1601) 的已知行星位置時間戳測量表中的三個行星運動定律，約翰內斯·開普勒（Johannes Kepler） (1571-1630) 使用了類似於伽利略的方法。李（Li）等人追隨開普勒的腳步，使用機器學習技術從布拉赫(Tycho Brahe)的資料中提取開普勒定律之一。如需瞭解開普勒和伽利略的科學方法的精彩描述參見溫伯格（Weinberg ，2015)。

腳註4: 當時一些頂尖科學家並沒有馬上接受達爾文的理論。例如，開爾文（Kelvin）勳爵聲稱當時盛行的地球估算年齡還遠遠無法論證達爾文的理論是否成立。

腳註5： 因此，現代計算和人工智慧的偉大發明者約翰·馮·諾依曼（John von Neumann）對這四個領域進行了研究並做出了重大貢獻並非巧合。參見 Bhattacharya (2022) 瞭解更多有關馮·諾依曼的工作和生活的敘述。

腳註6： 這個網站藉助 Python 程式碼探索了這兩種可能的有關機率意義，參見https：//python.quantecon.org/prob_meaning.html。

腳註7：當經濟學家談到“理性預期”時，他們指的是假設“對環境的普遍正確理解”。 “理性預期”一詞修飾的是“模型”，而不是“人”。

腳註8：參見克雷普斯（Kreps，1997）進一步瞭解這兩類模型的共同特徵和缺點，以及一些精彩的觀點和關於新方向的猜想，在我看來，這些新方向似乎預示了人工智慧隨後會進入經濟學。

腳註9：霍特靈、弗裡德曼和薩維奇的工作最後引出了“貝葉斯最佳化”這一機器學習技術。可參見斯諾克（Snoek et al. ，2012)。

腳註10： 請參考 science/john-henry-holland-computerized-evolution-dies-at-86.html.

腳註11：愛因斯坦的辦公室牆上掛有麥克斯韋的照片。

腳註12：對這些事件的記錄詳見法梅洛（Farmelo，2019）著作的第三章。

（上下滑動，檢視更多）

原標題：《獨家首發！諾獎得主薩金特教授論“人工智慧的來源”》