讀人工智慧全傳10深度思維

1. 深度思維

1.1. DeepMind

1.1.1. 深度思維

1.1.2. 2014年的員工不足25人

1.1.3. 深度思維公司公開宣稱其任務是解決智慧問題

1.1.4. 2014年穀歌收購DeepMind，人工智慧突然成了新聞熱點，以及商業熱點

1.1.4.1. 收購報價高達4億英鎊

1.1.4.2. 深度思維是人工智慧領域最引人注目的收購

1.2. 科技公司都爭先恐後投入這個領域，生怕被歷史車輪甩落

1.2.1. 2015年，優步公司從卡內基-梅隆大學機器學習實驗室攬獲了至少40名研究人員

1.3. 雅達利遊戲系統

1.3.1. 基於早期的雅達利2600系列遊戲機

1.3.2. 1980年前後的產品

1.3.3. 最早獲得成功的影片電子遊戲平臺之一

1.3.4. 它支援210×160畫素網格的大解析度影片，支援128位顏色

1.3.5. 使用者透過一個帶單獨按鈕的操作杆進行操作，遊戲機使用插卡式遊戲卡帶

1.3.6. 深度思維用的遊戲卡帶一共有49個遊戲

1.4. 深度思維的程式根本沒有任何關於遊戲的知識，程式得到的唯一資訊是出現在遊戲機螢幕上的影像(以210×160彩色畫素網格的形式)和遊戲的當前分數

1.4.1. 程式沒有得到諸如“物件A在位置(x， y)上”之類的資訊

1.4.2. 任何類似的資訊都需要程式從原始的影片資料中自己提取

1.4.3. 程式透過強化學習自學玩遊戲：反覆玩同一個遊戲，在每個遊戲中進行實驗並獲得反饋，並學習哪些行為會得到獎勵，而哪些不會

1.4.4. 雅達利遊戲程式學會了遊戲卡帶中的29個遊戲，表現出高於人類玩家平均水準的能力

1.4.4.1. 在某些遊戲裡面，它甚至達到了超人的水準

1.5. 他們所做的是寫一個程式，讓它學習如何比人類更會玩全部49個雅達利遊戲中的29個

1.5.1. 程式接收到的唯一輸入就是屏上顯示的東西，以及分數

1.6. 玩打磚塊遊戲

1.6.1. 程式瞭解到，最有效率得高分的方式是在磚牆的一側“鑽”一個洞，讓球打進去，這樣球就會在磚牆和頂部屏障之間快速反彈，迅速消滅磚塊，而玩家可以不用額外操作什麼

1.6.1.1. 它是由程式自主學習的

1.7. 蒙特祖瑪的復仇

1.7.1. 程式玩得特別糟糕的遊戲

1.7.2. 它的難點在於獎勵非常稀少

1.7.3. 玩家在獲得獎勵之前必須執行一系列複雜的任務

1.7.3.1. 這一點與打磚塊這種遊戲不同，在打磚塊遊戲中獎勵反饋或多或少都是即時的

1.7.3.2. 如果獎勵反饋在相關行動執行後很長時間才出現，就會給強化學習帶來困難

1.7.3.2.1. 你可能不清楚是哪些行為導致了獎勵的發生

1.8. 如果雅達利遊戲程式是深度思維團隊唯一完成的東西，那也足夠讓他們在人工智慧的歷史上留下令人尊重、濃墨重彩的一筆，但是，該團隊隨後又取得了一系列驚人的成就

1.8.1. 深度思維的工作，從他們的雅達利遊戲機到AlphaZero，代表了人工智慧領域一系列非凡的突破性成就

2. AlphaGo

2.1. 可能仍然是迄今為止最著名的人工智慧系統

2.2. 使用了兩個神經網路

2.2.1. 價值網路只負責評估給定的棋盤位置的優劣程度

2.2.2. 策略網路則根據當前棋盤的狀況評估下一步棋該放在何處

2.3. 策略網路包含13層，首先使用監督式學習進行訓練，訓練的資料則是人類的專業棋手下棋的棋譜

2.4. 然後進行自我對戰的強化學習

2.5. 最後，這兩個網路被嵌入一個複雜的蒙特卡羅樹這一搜尋技術中

2.6. 撇開表象深入挖掘，你會發現AlphaGo中最能體現智慧的工程都源自經典的人工智慧搜尋

2.6.1. 於20世紀50年代開發了跳棋學習程式的亞瑟·塞繆爾，他在理解AlphaGo使用的搜尋技術時不會有任何困難

2.6.2. 從他的跳棋程式，到現代最引人注目的人工智慧系統，都遵循著同一條發展路徑

2.7. AlphaGo儘管在圍棋方面表現優秀，但它只能下圍棋，還必須事先學習許多人類專業棋手的棋譜

3. AlphaGo Zero

3.1. 它的非凡之處在於它是從零開始學習下圍棋的，沒有學習任何人類棋手的棋譜

3.2. 在沒有人工資料干預的情況下，它達到了超越人類棋手的水平，而這一切，只是透過它自己和自己下圍棋來實現的

3.3. 在結束9個小時的自我學習以後，AlphaZero能夠在和鱈魚系統對戰中連續擊敗對方，最少也能保持平局

3.3.1. 鱈魚系統是世界領先的國際象棋程式之一

3.4. AlphaZero似乎可以自學成才，並且適用於多種不同型別的棋類遊戲

3.5. 結論

3.5.1. 儘管AlphaZero體現了令人印象深刻的通用性(它在棋類遊戲專業的通用性方面超過了此前任何一個人工智慧系統)，但它本身並不代表邁向通用人工智慧的重大進步

3.5.2. 棋類遊戲是相當抽象的,它們與現實世界相去甚遠

4. 影像標註

4.1. 你對這幅圖的理解是基於你在這個世界上作為一個人類存在的經歷

4.2. 這樣的理解對於標註機器人而言是不可能實現的，因為它沒有這個基礎

5. 自動翻譯

5.1. 將一種語言自動翻譯成另一種語言，是過去十年中因為深度學習技術而快速進步的另一個領域

5.2. 自動翻譯工具能做到什麼，又不能做到什麼，有助於我們理解深度學習的侷限性

5.3. 谷歌翻譯可能算是最著名的自動翻譯系統了

5.4. 關鍵就在於，你僅僅是懂得法語並不代表就能做好普魯斯特小說的翻譯

5.4.1. 關於20世紀初期法國社會和法國人生活的知識

5.4.1.1. 你得知道他們使用蠟燭照明

5.4.2. 法國曆史的知識

5.4.2.1. 你得知道弗朗索瓦一世和查理五世之間的鬥爭史

5.4.3. 20世紀早期法國文學常識

5.4.3.1. 當時的寫作風格，還有作者可能引用的典故

5.4.4. 對普魯斯特本人的瞭解

5.4.4.1. 他最想表達的是什麼

5.4.5. 需要你有大量的背景知識，谷歌翻譯所使用的神經網路裡可沒有這些知識

5.5. 我們必須消除明確表示知識的世界和深度學習以及神經網路的世界之間的隔閡

6. 學界

6.1. 機器學習領域的兩件學界大事是神經資訊處理系統(NeurIPS)會議和國際機器學習會議(ICML)

6.2. 機器學習研究領域的許多人根本就不把自己視為“人工智慧”的一部分

6.3. 不管分裂的起源是什麼，事實就是，在某種程度上，機器學習研究領域的許多人脫離了主流人工智慧，沿著自己的軌跡發展