為什麼GPT-3令人難以置信？有趣而且很重要？ -Vox

GPT-3的工作原理
要了解GPT-3的飛躍含義，回顧一下機器學習中的兩個基本概念將是有幫助的：有監督的學習和無監督的學習。
直到幾年前，語言AI還是主要透過一種稱為“監督學習”的方法進行教學。那就是您擁有大型，經過仔細標記的資料集的地方，其中包含輸入和所需的輸出。您將教AI如何在給定輸入的情況下產生輸出。這樣可以產生良好的效果：句子，段落和故事在模仿人類語言方面做得很好。但它需要構建龐大的資料集並仔細標記每一位資料。
監督學習不是人類如何獲得技能和知識。我們對世界的推論就沒有監督學習中精心標記的例子。換句話說，我們做了很多無監督的學習。
許多人認為，一般AI功能的進步將是需要無監督學習的發展，在這種情況下，AI會接觸到許多未標記的資料，並且必須弄清楚其他所有東西。由於非結構化資料比結構化資料多（無需標記所有資料），因此無監督學習更易於擴充套件，並且無監督學習在各個任務上的推廣效果更好。
GPT-3 （像其前身一樣）是無監督的學習者；它從未標記的資料中收集了有關語言的所有資訊。具體來說，研究人員在大部分Internet上使用了它，從流行的Reddit帖子到Wikipedia，再到新聞報導，再到幻想小說。GPT-3使用大量的資訊來完成一個非常簡單的任務：在一定的初始提示下，猜測接下來最有可能出現的單詞。
 

GPT-3可以做的事情
到目前為止，GPT-3已用於各種專案，從在歷史人物之間進行虛構對話到使用表情符號概括電影到編寫程式碼。
GPT-3甚至可以正確回答醫學問題並解釋其答案。
當然，有些事情不應該使用GPT-3：兩個人進行隨意的交談並試圖獲得真實的答案。一個又一個的測試人員指出GPT-3 構成了很多廢話。這不是因為它不“知道”問題的答案，而是因為錯誤的答案在計算機看來似乎是合理的。
AI Dungeon是一款基於文字的冒險遊戲，部分由GPT-3驅動。
 

為什麼GPT-3很重要
GPT-3作為諷刺作家，詩人，作曲家和客戶服務代理人的不可思議的能力實際上並不是故事的最大部分。GPT-3本身就是令人印象深刻的概念證明。但是它證明的概念具有更大的影響。
長期以來，我們一直認為，要建立具有一般智慧的計算機（在程式設計，研究到進行智慧對話等各種各樣的任務中要超越人類的計算機）將很難製造，並且需要對人類有詳細的瞭解思想，意識和推理。在過去的十年左右的時間裡，少數AI研究人員一直在證明我們錯了，一旦我們賦予計算機更多的計算能力，人文智慧就會自然而然地出現。
GPT-3是後者的重點。按照現代機器學習研究的標準，GPT-3的技術設定並不令人印象深刻。它使用的是2018年以來的架構，這意味著在這樣一個快速發展的領域，它已經過時了。
 GPT-3令人恐懼，因為與可能的情況相比，這是一個很小的模型，並且以最愚蠢的方式進行了訓練。
GPT-3是一個在AI研究人員中引起激烈爭論的主題的證據：僅使用現有的深度學習技術，我們能否獲得變革性的AI系統，在許多關鍵領域都超過人類的能力？當我們將越來越多的計算能力注入到簡單的機器學習模型中時，人類級別的智慧是否需要一種全新的方法？
這些 問題至少要再幾年才能解決。即使GPT-3可以在短時間內突然模仿一個人，它也不是人類的智慧。
 

人工智慧變得更聰明不一定是好訊息
在過去的幾年中，狹窄的AI取得了非凡的進步。人工智慧系統在翻譯，象棋和圍棋之類的遊戲，重要的生物學研究問題（如預測蛋白質的摺疊方式和產生影像）方面都得到了極大的改善。人工智慧系統決定了您將在Google搜尋或Facebook News Feed中看到的內容。他們創作音樂並撰寫文章，一目瞭然，就像人寫的一樣。他們玩戰略 遊戲。他們正在開發以改善無人機瞄準和探測導彈的能力。
曾經，我們透過精心教授計算機系統特定概念在AI方面取得了進步。為了實現計算機視覺（允許計算機 識別圖片和影片中的事物），研究人員編寫了用於檢測邊緣的演算法。為了下棋，他們編寫了有關棋的試探法。為了進行自然語言處理（語音識別，轉錄，翻譯等），他們借鑑了語言學領域。
但是最近，我們在建立具有通用學習功能的計算機系統方面做得更好。與其用數學方式描述問題的詳細特徵，不如讓計算機系統自己學習。雖然我們曾經將計算機視覺視為與自然語言處理或平臺遊戲完全不同的問題，但現在我們可以使用相同的方法解決所有這三個問題。
在回答問題，彙總新聞文章或回答科學問題方面，GPT-3並不是世界上最好的AI系統。在翻譯和算術方面，它顯然是中等水平的。但是它比以前的系統通用得多。僅舉幾個例子，它就能完成所有這些工作，甚至更多。未來的AI系統可能會更加通用。