Geoffrey Hinton 表示，人工智慧語言模型不僅僅是預測下一個符號，它們實際上以與我們相同的方式進行推理和理解，並且隨著它們變得更大，它們將繼續改進
Geoffrey Hinton是誰？
是一位著名的英裔加拿大電腦科學家和認知心理學家,被譽為"人工智慧之父"。他在人工神經網路和深度學習領域做出了開創性的貢獻,對現代人工智慧的發展起到了關鍵作用。
ChatGPT前首席科學家伊利亞·蘇茨克維爾Ilya 是Hinton在多倫多大學的學生,他們合作開發了AlexNet，是一種8層深度卷積神經網路,在2012年的ImageNet影像識別挑戰賽中取得了突破性的成績,效能遠超以前的模型。 AlexNet的成功推動了深度學習在計算機視覺領域的廣泛應用。2013年,lya 與Hinton共同創立了深度學習初創公司DNNresearch Inc,不久後該公司被谷歌以4400萬美元收購。
網友討論：
1、喜歡他對創造力的定義：“看到明顯不同的事物之間的相似之處。”
2、克拉克第一定律：“當一位傑出但年長的科學家說某件事是可能的時，他幾乎肯定是對的。當他說某事不可能時，他很可能是錯的。”
3、工程師大多喜歡整齊有序的東西盒子，他們厭惡（正如我曾經共事的人經常說的那樣）“模糊的概念”。我對從事軟體行業並擁有哲學背景感到非常榮幸，因為所有這些都無法放在一個有序的盒子裡。學習哲學是我學會擁抱灰色地帶和細微差別的地方，並且以任何能力瞭解意識的本質都是一個相當大的灰色地帶。
4、讓我感到驚訝的是，一個生活在 2024 年並花了大量時間與大模型交談的人，竟然認為他們不過是 "下一個符號預測者"。其實，它們幾乎在所有方面都明顯優於人類。
我問過 Llama3-70b，它給我列出了人類應該更擅長的 10 件事，而我只能指出 "幽默 "可以說是真的。我可以非常肯定地說，其他 9 項我都比較差。就智力和知識而言，我是一個高於平均水平的人。
5、“理解”和“推理”的定義很模糊
為了在回答問題時預測下一個符號，您需要對所有符號在訓練資料中使用的方式如何在上下文中相互關聯進行深入的統計表示。
現代人工智慧的“奇蹟”在於，人類的思想和交流是如此“基礎”，以至於我們的整個精神宇宙都可以從我們的集體著作中推斷出來。
正如埃莫·菲利普斯所說：“我曾經認為大腦是我體內最奇妙的器官。然後我就意識到是誰告訴我這件事了。”
6、我們的大腦實際上不擅長提出完全原創的想法，但我們很擅長重新混合和組合已經存在的想法
我認為這種幻覺是如此強烈，因為我們實際上並不知道自己是如何思考的，我們的大腦對我們來說似乎有點魔法，
它讓我們產生一種錯覺，以為自己是完全原創的、完全可以控制的，即使事實並非如此。
7、丹科·尼古拉耶夫（Danko Nikolaev）提出的智力的主導理論稱為“實踐生成”（Practopoeisis）。
他說，智慧是從複雜的系統中產生的，並且具有多重遍歷。
對於機器來說，第一次遍歷的是原始資料。第二個遍歷是神經網路（LLM）。第三次遍歷是馬爾可夫毯，
它只是一組馬爾可夫鏈。簡單地說，這可以被認為是“接下來發生的事情僅取決於現在的事態”。
因此，為了獲得第三種遍歷智慧，需要有一個稱為連續時間馬爾可夫鏈的實時流上下文視窗。我相信這已經在 gpt-4o 中實現了，但沒有任何細節或原始碼我無法驗證它。
這可能是這些科學家觀察到的，只是他們不知道如何用語言表達。僅供參考，人類是 T3 智慧，大約有 100T 個引數。GPT-4 可能是 1T 個引數。隨著引數越來越大，更多的智慧將會出現，系統提示和強化學習充當馬爾可夫毯。
8、Hinton沒有意識到語言到底有多麼模糊。這就是哲學家繼續玩語言遊戲的原因。問 20 個人關於“自由意志”的問題，你會得到 20 個不同的答案。許多概念都是前語言的。章魚、烏鴉和大黃蜂不需要任何語言就能展現出非凡的智力。