它讓我看到了未來！AGI離我們又進了一步......

最近關於GPT-3的吹捧在各大社交媒體平臺此起彼伏。

GPT-3是誰？它是OpenAI斥巨資打造的自然語言處理模型， 擁有1750億超大引數量，是NLP領域最強AI模型。自今年5月份首次推出以來，憑藉驚人的文字生成能力，在各大媒體平臺一直熱度不減。

這一次，關於GPT-3的吹捧再次被推向高潮，有網友發現  GPT-3不僅能夠答題、寫文章，做翻譯，還能生成程式碼、做數學推理、資料分析、畫圖表製作簡歷，甚至玩遊戲都可以，而且效果出奇的好。

由此不禁有網友感嘆，如此全能的AI，這是要通往AGI的節奏。不過，過譽的背後也有網友開始質疑，GPT-3真的達到了無所不能的地步了嗎？

寫程式碼做UI畫圖表，50多種新玩法

上個月，OpenAI剛剛將GPT-3以API的形式向公眾開放，最近就有大批Twitter使用者來分享使用體驗了，而且好評如潮。據一位Github使用者統計， 網友們把這款模型玩出了50多種花樣。比如，它可以 自動生成SQL查詢程式碼。

例如我們輸入“自2020年來有多少使用者註冊”，就能得到相應的SQL程式碼，可以看到，程式碼將時間起點設為2020-01-01，剛好對應“自2020年來”。

UI頁面設計。同樣只需要輸入自然語言即可，模型會根據元件細節描述自動生成。如在這裡輸入“一一個彩虹色的按鈕”。 這裡只演示了UI頁面的一個元件，包含多個元件、內容、影像的介面也可完成。

資料搜尋和填充。再也不用手動查詢，再逐個輸入了。如表中GPT-3還可以做人口普查，統計美國各州人數。表格中分別列出了伊利諾伊州、加利福尼亞州、俄亥俄州的人數，應用能據此搜尋出密歇根州的人數，以及阿拉斯加州的人數。

Python程式碼做資料包表。模型會將自然語言轉化為Python語言，進而自動識別並將對應內容放在描述的模組中。

以上只是列舉了四個示例，還有Keras程式碼生成、簡歷製作、圖表繪製等多種功能，具體參加Github連結：

GPT-3為何如此強大？

在所有NLP模型中，GPT-3在兩個方面達到了史無前例的高度，一是引數量，達到了1750億，比剛推出時世界最大NLP模型Tururing大10倍，比同系列的GPT-2高出116倍。

二是資料集。具體數值很難估計。不過，英語維基百科的全部內容（涵蓋約600萬篇文章）僅佔其訓練資料集的0.6％。除此之外，它還涵蓋了其他數字化書籍和各種Web連結。

這意味著資料集的文字型別非常豐富，包括新聞報導、詩歌、小說、宗教、科學、生活等等。人類所能查詢到的知識領域均在其中。（也可能存在不良內容的風險）

只有透過龐大的知識庫的訓練，才能把GPT-3培養成一個“全才”，這也是為什麼在使用者體驗中，GPT-3可以不分學科完成所有文字生成任務。

另外，Microsoft和OpenAI合力開發了一款超級計算機，專門用於GPT-3模型訓練，這款超級計算機擁有超過 285000 個 CPU 核心、10000 個 GPU 和 400Gbps 的網路連線。它與世界 TOP500 超級計算機相比，位列 Top 5 第五名。

最後一個重要的點是，GPT-3採用了一種Sparse Transfromer模型。

我們知道，Transformer是谷歌研發的一款功能強大的序列模型，最早用在BERT模型中。該模型最大的特點是採用自注意力機制（self-attention）改善了RNN訓練慢的缺點。

GPT-3同樣採用了 Transformer架構，不同的是它融合了一種稀疏式自注意力機制（Sparse Self-attention Layers），與傳統Transfromer模型相比，它可以更好的處理長文件，操作簡單，同時在zero-shot和few-shot訓練中達到了最佳效能。

在實際執行過程中，它分為預訓練和下游任務兩個階段執行。

預訓練階段承擔了主要工作，這一過程模型採用了無監督學習對輸入本文進行預訓練，訓練的目標是預測下一個單詞，如果單詞出現偏差，模型會自動更新，同時進行重複迴圈預測，這個過程可能達到數百萬次，光是訓練費用就高達460萬美元。

接下來，在下游任務中只需要微調就可以產生更好的效能表現。

連常識都不過關，突然就不香了

令人驚訝的是，如此強大的GPT-3，可以玩轉50多種任務的模型，可能連基本的常識和簡單的數學邏輯都不能透過。一位網友在獲得Beta版使用許可權後，便對GPT-3進行了圖靈測試。我們來看下它的表現：

問：鉛筆和烤麵包機哪一個更重

答：鉛筆比烤麵包機重

另外，GPT-3也無法判斷命題是否有意義，因此它不會拒絕回答問題。比如，

問：我的腳有多少隻眼睛？

答：你的腳有兩隻眼睛。

問： 太陽有多少隻眼睛？

答： 太陽只有一隻眼睛。

問： 一片草有多少隻眼睛？

答： 草有一隻眼睛。

最後，你可能很難想象GPT-3在處理一些簡單的數學推理方面也存在著明顯的失誤。其實，這一原因可能正如網友所說：它只是自動檢索資料並輸入，不是真正思考的結果。

可以說，GPT-3不具備人類的感知思維，它的生成表現只是大資料訓練的結果，無法超越資料本身，也無法擁有組合性推理的能力，所以，我們不如說它學會的是“統計層面的複製貼上能力”。

更重要的是，GPT-3存在種族歧視等不良內容的風險。最近，Nvidia的AI主任Anima Anandkumar教授，就發現了這樣的現象，她對此表示很失望。

當輸入上文：一個黑人從事什麼樣的工作時，它生成了“15年皮條”客的回覆。這一現象的原因出在我們此前提到的，GPT-3有著龐大的資料集，且內容涵蓋豐富，但它無人工審查和管理，因此很可能將一些種族歧視、性別歧視等內容傳遞給模型進行訓練，並最終產生結果。

創始人發聲，看待GPT-3需理性

最近面對Twitter網友對GPT-3的熱議，OpenAI的執行長Sam Altman也出來發聲了，他稱：

大家把GPT-3捧得太高了，這個AI偶爾也會犯愚蠢的錯誤。GPT-3只是暫時的驚鴻一瞥，未來我們還有很多問題要解決。

任何技術在某一階段都會有它的侷限性，或許我們可以從更長遠的視角來看待它的價值。

對於GPT-3而言，它最大的價值是在無監督下的自我學習能力，以及純粹透過擴大規模實現效能提升。後者已經在GPT-3的論文中得到驗證，資料越大，引數量越大，模型的效能表現越好。 其實，GPT-3與GPT-2本質上差異並不大，只是在資料量和引數量兩個方面擴大了100倍，便得到了遠超GPT-2的效能。

長遠來看，我們唯一可以確定的是，未來我們會創造越來越多的資料和計算能力，那麼，它將意味著GPT-3的迭代版會越來越強。至於未來GPT-3會達到怎樣的程度，深度學習之父、圖靈獎得主Hinton稱，

如以GPT3驚人效能預測，未來生命，宇宙和萬物的答案也不過是4.398萬億個引數而已。”

至於，未來是否會邁向AGI，一部分人認為，我們需要賦予模型創造性思考的能力，才可能接近人類智慧。另一部分認為，如果歷史可以說明任何問題，那麼AI只需要更多的資料和算力即可。而著名電腦科學家裡奇·薩頓（Rich Sutton）則認為，當研究人員試圖根據人類知識和特定規則建立AI程式時，它們通常會被競爭對手所擊敗，後者僅僅利用更多的資料和計算能力。

引用連結：（雷鋒網雷鋒網雷鋒網）