讀AI新生：破解人機共存密碼筆記01以史為鑑

1. 科學突破是很難預測的

1.1. 20世紀初，也許沒有哪位核物理學家比質子的發現者、“分裂原子的人”歐內斯特·盧瑟福［Ernest Rutherford］更為傑出

1.1.1. 盧瑟福早就意識到原子核儲存了巨大的能量，然而，主流觀點認為開發這種能源是不可能的

1.2. 1933年9月匈牙利物理學家利奧·西拉德［Leo Szilard］構想出了中子誘發的鏈式核反應

1.2.1. 在不到24小時的時間裡，釋放核能的問題從不可能變成了已經基本解決

1.3. 這個故事的寓意是，與人類的聰明才智打賭是魯莽的，尤其是在我們的未來岌岌可危的時候

1.4. 在人工智慧界，一種否定主義正在出現，它甚至否定成功實現人工智慧長期目標的可能性

1.5. 內容推薦演算法在社交媒體中發揮的作用

1.5.1. 然這些演算法不是特別智慧，但它們能夠影響整個世界，因為它們直接影響數十億人

1.5.2. 此類演算法旨在最大限度地提高點選率，即使用者點選展示條目的機率

1.5.3. 正確的解決方案是改變使用者的偏好，從而使他們變得更可預測

1.5.3.1. 對於更可預測的使用者，演算法可以透過推送他們更可能會點選的條目，而帶來更多收入

1.5.3.2. 持有極端政治觀點的人往往更容易被預測出會點選哪些條目

2. 歷史

2.1. 人工智慧的起源可以追溯到很久以前，但它正式啟動是在1956年

2.1.1. 數學家約翰·麥卡錫（John McCarthy）和馬文·明斯基（Marvin Minsky）說服了著名的資訊理論創始人克勞德·夏農（Claude Shannon）和IBM（國際商業機器公司）第一臺商用計算機的設計者納撒尼爾·羅切斯特（Nathaniel Rochester）加入他們，一起在達特茅斯學院組織一個暑期專案

2.1.2. “學習”的各個方面或“智慧”的任何特徵在原則上都可以被精確地描述出來，所以人們可以製造一臺機器來模擬“學習”或“智慧”

2.2. 在達特茅斯會議後10年左右的時間裡，人工智慧取得了幾項重大成功，包括艾倫·羅賓遜（Alan Robinson）的通用邏輯推理演算法和阿瑟·塞繆爾（Arthur Samuel）的西洋跳棋程式，這個程式透過自學戰勝了它的創造者

2.3. 第一次人工智慧泡沫在20世紀60年代末破裂，當時，人們在機器學習和機器翻譯方面的早期努力沒能達到預期

2.4. 到了20世紀80年代中期，由於所謂的“專家系統”的商業潛力，人工智慧正在經歷一次巨大的復興

2.4.1. 當這些系統被證明無法完成人們指派給它們的許多工時，第二次人工智慧泡沫破裂了

2.4.2. 人工智慧的寒冬隨之而來

2.5. 人們將人工智慧與歷史悠久的機率論、統計學和控制理論建立了聯絡

2.6. 從2011年前後開始，深度學習技術開始在語音識別、基於機器視覺的物體識別和機器翻譯方面取得巨大進步，以上是人工智慧領域最重要的三個開放問題

2.6.1. 從某些方面來看，機器在這些方面的能力已經達到甚至超過了人類的能力

2.7. 2016年和2017年，DeepMind（英國人工智慧公司）的AlphaGo（阿爾法圍棋）擊敗了前世界圍棋冠軍李世石和後來的冠軍柯潔

2.8. 如今，人工智慧幾乎每天都會出現在媒體的頭條報導中

2.8.1. 在大量風險投資的推動下，成千上萬家初創公司應運而生

2.8.2. 數以百萬計的學生參加線上人工智慧和機器學習課程，該領域專家的年薪可達數百萬美元

3. 5個“人類未來最大事件”的候選選項

3.1. 我們滅亡了（因為小行星撞擊、氣候災難、流行病等）

3.2. 我們都能永生（醫學攻克了衰老）

3.3. 我們發明了超光速旅行，征服了宇宙

3.4. 高階外星文明造訪了我們

3.5. 我們發明了超級人工智慧

3.5.1. 超級人工智慧的到來在許多方面類似於高階外星文明的到來，但前者更有可能發生

3.5.2. 最重要的是，人工智慧不同於外星人，它是我們對其有發言權的東西

3.5.3. 成功了會如何？

3.5.3.1. 人工智慧領域的目標一直是創造出達到或超越人類水平的人工智慧，但人們很少或根本沒有考慮過，如果我們創造出了這樣的人工智慧會發生什麼

3.5.3.2. 這個問題不僅是主流的人工智慧研究人員應該考慮的問題，而且可能是人類面臨的最重要的問題

3.5.3.3. 超級人工智慧的成功將是人類歷史上最重大的事件……或許是人類歷史上的最後一個事件

4. 出了什麼問題？

4.1. 人工智慧的歷史一直被一句咒語所推動：“越智慧越好。”

4.1.1. 因為我們理解智慧的方式有誤，所以這是一個錯誤

4.2. 人類是智慧的，因為我們的行動有望實現我們的目標

4.2.1. 智慧的其他所有特徵，例如感知、思考、學習、創造等，都可以透過它們對我們成功行動的能力的貢獻來理解

4.3. 機器智慧的定義就與之對應

4.3.1. 機器是智慧的，因為它們的行動有望實現它們的目標

4.4. 機器與人類不同，它們沒有自己的目標，因此我們賦予它們目標，讓它們去實現

4.4.1. 我們製造能夠自我最佳化的機器，把目標輸入機器中，然後它們就開始執行了

4.5. 問題就出在人工智慧的基本定義中

4.5.1. 機器是智慧的，因為它們的行動有望實現它們的目標，但我們沒有可靠的方法來確保它們的目標與我們的目標相同

4.6. 在設計了從大型噴氣機到胰島素泵等各種控制系統的控制理論領域，系統的任務是使代價函式最小化（代價函式通常被用來衡量實際行為與期望行為的偏差）

4.6.1. 在統計學中，學習演算法（learning algorithm）旨在使期望損失函式最小化（損失函式定義了產生預測錯誤要承擔的成本）

4.7. 諾伯特·維納（Norbert Wiener）的《自動化的一些道德和技術後果》

4.7.1. 如果我們為了達到目的而使用一種我們無法有效干預其執行的機器……我們最好確信我們想讓機器達成的目標是我們真正想要實現的目標。

4.8. 如果我們把錯誤的目標輸入比我們更智慧的機器裡，機器就會實現目標，但我們也就失敗了

4.8.1. 邁向超人類智慧的步伐似乎是不會停止的，但超人類智慧的成功可能意味著人類的毀滅

4.9. 我們的目標在我們自己心中（在全體80億人和我們多樣的社會群體之中），而不在機器中

4.9.1. 目標的不確定性是一個特性，而不是漏洞（也就是說，是好事而不是壞事）

4.9.2. 目標的不確定性意味著機器必須要順從人類：它們會請求許可，會接受糾正，會允許自己被關閉

4.10. 撤銷“機器應該有明確目標”這個假設，意味著我們需要打破並替換人工智慧的部分基礎，而這些基礎其實是我們正在努力構建的東西的基本定義

4.10.1. 意味著要重建大量的上層建築，即為實際的人工智慧工作積累思想和方法

4.10.2. 其結果將是人類和機器之間生成新關係