- 人工智慧領域的缺口：“必須有更多的概念上的突破，在規模上，還需要加大。"
- 神經網路的弱點：“神經網路在處理多引數少量資料時，表現不錯，但是這方面，人類似乎做得更好。"
- 人腦如何工作：“大腦內部是參與神經活動的大向量。"
現代人工智慧革命始於一場默默無聞的研究競賽：2012年，即第三屆影像網路競賽（ImageNetcompetition），挑戰團隊需要建立一個能識別1000個物體的計算機視覺系統，這1000個物體中包括動物、景觀和人類。
在前兩年，即便是最好的參賽團隊，準確率都不超過 75%。但是到了第三年，三位研究人員（一位教授和他的兩個學生）突然打破了這個天花板，他們驚人地超出了10.8個百分點，贏得了比賽。那個教授便是傑弗裡·辛頓，他們使用的技術叫做深度學習。
自20世紀80年代以來，辛頓一直致力於深度學習的研究工作，由於缺乏資料和計算能力，其有效性受到了限制，一直到2012年才取得成果。辛頓對這項技術的堅定信念最終帶來了巨大的回報：在第四年的影像網比賽（ImageNet competition）中，幾乎所有參賽隊都在使用深度學習，並獲得了神奇的準確性。很快，深度學習便被應用於影像識別之外的任務。
去年，由於他在這一領域的特殊貢獻，辛頓與人工智慧的先驅們YannLeCun和Yoshua Bengio一起被授予圖靈獎。10月20日，我在麻省理工學院技術評論的年會“Em Tech MIT會議”上與他談到了這個領域的現狀，以及下一步的方向。
為了表達清楚，對以下內容進行了編輯和濃縮。
你認為深度學習足以複製人類所有的智力，為什麼這麼確定？
我深信深度學習將無所不能，同時，我認為必須有相當多的概念上的突破。例如，2017年AshishVaswani等人，引入“transformer”“transformers”這個概念，它利用向量來表示詞義，這是一個概念性的突破，目前幾乎用於所有的自然語言處理模型。我們需要更多類似的突破。
如果有了這些突破，是否能夠透過深度學習來模擬所有人類智力？
的確如此，特別是如何獲得神經活動的大向量來實現“推理”這樣的突破。但同時我們需要大幅度增加規模。人腦大約有100萬億個引數，即突觸，是真正的巨大模型，像GPT-3（https://www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/），有1750億個引數，但它比大腦小一千倍。GPT-3現在可以生成看似合理的文字，但與大腦相比，它依然太小。
提到規模時，是指更大的神經網路，更多的資料，還是兩者兼而有之？
兩者兼而有之，電腦科學中發生的事情和人們實際發生的事情之間存在某種差異。與獲得的資料量相比，人們擁有更多的引數。神經網路擅長處理有大量引數的少量資料，但人類在這方面卻做得更好。
很多業內人士認為，下一個大的挑戰是常識，你同意嗎？
我同意，這是一件非常重要的事情，我認為運動控制也非常重要，而深層神經網路現在正變得越來越擅長這一點。特別是，谷歌最近的一些工作表明，可以完成精細的運動控制並與語言相結合，比如：開啟一個抽屜，取出一個小木塊，系統便可以用自然語言告訴你它在做什麼。
像GPT-3這樣的模型，它可以生成精彩的文字，很明顯，它必須深入理解才能生成該文字，雖然我們對於它理解的程度還不太清楚。但是，如果有什麼東西開啟抽屜，拿出一個小木塊並說：“我剛剛開啟一個抽屜，拿出小木塊一個”，也可以說它明白自己在做什麼。
人工智慧領域一直把人腦作為其最大的靈感來源，不同的人工智慧方法源於認知科學中的不同理論。你是否相信大腦實際上建立起了外部世界的表徵之後，再來理解它，或者這只是一種有用的思考方式？
很久以前，在認知科學中，兩個學派之間存在著一場爭論：其中一個是由斯蒂芬·科斯林(Stephen Kosslyn)領導的，他認為，當大腦處理視覺影像時，你擁有的是一組正在移動的畫素；另一學派則更符合傳統的人工智慧，“不，不，這是胡說八道，它是分層、結構性的描述。腦內處理的是一個符號結構。”
我認為他們都犯了同樣的錯誤。科斯林認為我們處理的是畫素，因為外部影像是由畫素組成的，這是能為我們理解的一種表示；有人認為大腦處理的是符號，是因為我們也在用符號表示事物，這也是我們能理解的一種表示。我認為二者都不對，實際上大腦內部是多個神經活動的大向量。
仍然有許多人認為符號表示是人工智慧的方法之一。
當然。我有像赫克託·萊維斯克（Hector Levesque）這樣的好朋友，他們相信符號表示的方法，並在這方面做了很棒的工作。我不同意他的觀點，但符號表示方法是一件完全合理的事情。我猜測，符號只是存在於外部世界中，在大腦內部，用大向量進行內部操作。
你認為你對人工智慧未來最與眾不同的觀點是什麼？
好吧，我早先持有的與眾不同的觀點，五年後，它們卻成為了主流。早在20世紀80年代，我的大多數反向觀點現在都被廣泛接受了，現在大多數人都同意並接受了這些觀點。所以，在某種程度上可以說，我的逆向觀點已被削弱了。
原文標題：
AI pioneer Geoff Hinton: “Deep learning is going to beable to do everything”
原文連結：
https://www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-do-everything/