讀寫給大家的AI極簡史筆記03深度學習

1. 人工大腦

1.1. 語言學習模型

1.1.1. 1986年，美國心理學家大衛·魯梅爾哈特（David Rumelhart）和詹姆斯·麥克萊蘭（James McClelland）提出了一個語言學習模型

1.1.2. 它學習語言的方式無異於兒童

1.2. 科學家們沒有教系統任何規則，而是讓計算機自己總結出現在時態動詞改為過去時態的標準模式

1.2.1. 計算機必須嘗試各種選項，然後接收有關其解決方案和其他作為示例的動詞的反饋，但是不會明確地接收到正確的解決方案

1.3. 計算機能夠自己識別並完成分配給它的任務的規則和模式

1.3.1. 經過200輪以後，它掌握了魯梅哈德和麥克利蘭設定的全部420個動詞

1.3.2. 區區420個動詞，如果採用手動程式設計，計算機很快就能得到所有答案

1.3.3. 計算機應該透過比較和反饋習得學習方法，這正是“機器學習”的目標

1.4. 人類透過學習變得聰明

1.4.1. 如果機器能像人類一樣學習，那麼機器也可以變得很聰明

1.4.2. 早在20世紀60年代的第一個樂觀階段，人工智慧研究人員就做出了這個猜想，但猜想隨後很快就破滅了

1.4.2.1. 我們幾乎不可能製造出一個能複製人類大腦內部學習過程的人造大腦

1.5. 人腦是由進化產生的最複雜的結構

1.5.1. 它由大約860億個被稱為神經元的神經細胞組成

1.5.2. 平均每個神經元與其他神經元之間的連線超過1000個

1.5.2.1. 這些連線稱為突觸

1.5.3. 神經元和突觸共同形成了一個複雜程度令人難以想象的網路

1.5.3.1. 這個網路不僅可以儲存資訊，還可以使用電脈衝和生化信使來檢索資訊

1.5.3.2. 神經元只在特定時間段內，在達到一定閾值時才將資訊——或者更準確地說，電脈衝——傳遞給下一個細胞，否則神經元就會斷開連線

1.6. 人腦透過聯想、連線來學習字面意義

1.6.1. 連線被啟用得越頻繁，大腦就越能鞏固所學的知識

1.7. 進化可以使成人大腦中所有神經通路的長度總和達到數萬英里，但總體積不到1.5升

1.7.1. 直至今日，我們還遠遠無法去設想如何構建一個具有類似人腦多功能特性和相對低能耗的人工大腦

1.7.2. 但是現在的機器已經能在一個方面做得很好，那就是使用數學和統計學來模擬大腦的聯想學習過程，也就是把口語、影像、寫作和許多附加資訊聯絡起來的過程

2. 圖形卡片

2.1. 對於機器的人類訓練師來說，最重要的輔助工具是人工神經網路（ANN）

2.2. 這種方法的使用由於某些原因經歷了很長時間的停滯

2.2.1. 原因之一就是缺乏能夠在許多節點上足夠快速地執行大量計算任務的計算機

2.3. 圖形處理單元（GPU）

2.3.1. 新的並行處理器

2.3.2. GPU實際上是為三維計算機遊戲的圖形卡片而開發的，被調整後用於機器學習

2.4. 深度學習

2.4.1. deep learning

2.4.2. 在理想的場景中，人工智慧系統會自己從已學的知識中生成一些資料，也就是會深度學習

2.4.2.1. 人類把圍棋規則作為顯性知識提供給阿爾法狗

2.4.2.2. 資料科學家將歷史上許多比賽和標準情境載入到系統的記憶中，讓它從中學習基本的遊戲技能

2.4.2.2.1. 這隻夠創造出一個最好的業餘玩家

2.4.2.3. 阿爾法狗最終打敗人類成為世界冠軍是因為它與自己下了數以百萬局的棋

2.4.2.4. 隨著每一手棋和每一個對策，它建立了越來越多的資料點，可以在其人工神經網路的節點中進行加權

2.5. 人工神經網路和深度學習過程並不像大家通常假設的那樣——複製人腦的神經通路和電子傳導通路

2.5.1. 它們更像是統計的過程

2.5.2. 在這個過程中，計算機系統透過用層層分佈的節點來模擬神經細胞

3. 反饋創造資料壟斷

3.1. 不試過，你永遠不會知道

3.1.1. 和人一樣，只有當計算機系統認識到它的嘗試的成敗時，這個嘗試才有意義

3.2. 反饋資料在計算機學習系統中起著決定性的作用

3.2.1. 學習系統是否找到了正確的電話號碼

3.2.2. 是否計算出了最佳路線

3.2.3. 從照片中正確診斷出了皮膚狀況

3.3. 計算機接收的反饋越頻繁、越精確，它就學習得越快、越好

3.4. 反饋是各種機械自動控制方法的技術核心

3.4.1. 20世紀40年代，美國數學家諾伯特·維納（Norbert Wiener）為控制論奠定了理論基礎

3.4.2. 每一個技術系統都可以透過反饋資料，根據其目標進行控制和重新定向

3.4.3. 最早的控制論系統之一是來自於美國陸軍的自動火箭防禦系統

3.4.3.1. 它就會透過連續的反饋迴路傳遞給防空炮關於敵方導彈位置的資訊，並預先計算其未來飛行路徑

3.4.3.2. 防空炮則根據連續的反饋訊號瞄準導彈，然後在恰到好處的時刻開火

3.5. 反饋迴路的應用不只侷限於軍事創新

3.5.1. 沒有反饋迴路，阿波羅登月計劃將永遠只是夢想，噴氣式客機也不可能安全地飛越大西洋，也不會有噴射泵給活塞恰到好處地供給汽油，電梯門也不會在人腿被卡住的時候自動開啟

3.5.2. 反饋迴路在人工智慧領域的價值是無可比擬的

3.5.2.1. 它們是發展人工智慧最重要的原材料

3.6. 當我們接受谷歌的一個建議時，我們就建立了額外的反饋資料

3.7. 亞馬遜透過反饋資料來最佳化其推薦演算法

3.8. 臉書對使用者在其時間線上看到的帖子也進行同樣的最佳化

3.9. 資料幫助貝寶（Pay Pal）以更高的準確性預測付款是否具有欺詐性

3.9.1. 有關欺詐性取款的反饋往往非常激烈

3.10. 在人工智慧時代，所有反饋資料的總和具有與工業時期大規模生產的規模經濟和過去25年數字經濟的網路效應類似的效果

3.11. 網路效應意味著，平臺每增加一個使用者，它對使用者的吸引力就變得更大

3.11.1. 執行安卓作業系統的智慧手機越多，開發者為安卓開發應用程式的動力也就越大，而這又反過來提高了作業系統對使用者的吸引力

4. 反饋資料

4.1. 對於人工智慧來說，越多人向機器提供反饋資料，系統就會變得更加智慧

4.2. 反饋資料是智慧技術學習過程的核心

4.3. 數字反饋將使自主駕駛系統、翻譯程式和影像識別的商業應用成為可能

4.4. 反饋資料將會讓立法者相當頭痛

4.4.1. 如果他們不採取新的措施來應對這個局面，反饋資料的長期積累將幾乎不可避免地導致資料壟斷

4.5. 最受歡迎的產品和服務將由於不斷獲得反饋資料而得以快速升級

4.6. 機器學習在某種程度上將嵌入這些產品中，這意味著新的進入者極少有機會對抗以人工智慧驅動經濟的頭部公司

4.6.1. 自我完善的技術會阻礙競爭