這些有意義嗎？
- 微軟正在重新啟動三哩島核電站，以便為其下一代 AI 資料中心之一提供電力。
- Anthropic.ai 的執行長預測，我們很快將需要價值 1000 億美元的模型。
- 薩姆·奧特曼 正在尋求 7 萬億美元來實現 AGI。
是的，大語言模型 (LLM) 將會變得更好、更快、更便宜。
但它們 並不能幫助我們實現 AGI：
1、Yann LeCun - Meta首席人工智慧科學家：
- 在通往[人工通用智慧]的道路上，大型語言模型基本上是一個出口、一個干擾、一個死衚衕。
2、Demis Hassabis - Google DeepMind執行長：
- 深度學習...肯定不足以解決人工智慧問題，遠遠不夠。
3、山姆奧特曼 - OpenAI執行長：
- 我們需要另一個突破...語言模型不會導致通用人工智慧的出現。
大語言模型更根本的問題是：他們無法實時逐步學習（更新核心模型）。這意味著，即使是價值 1000 億美元的模型也無法適應新資料，必須定期丟棄，然後從頭開始構建新模型。這一限制是由所有 LLM 都基於的“Transformer”技術決定的，而這正是其令人印象深刻的功能的核心。
GPT：
- 生成式（編造內容）。
- 預訓練式（學習讀）。
- 基於 Transformer 的（需要像訓練一樣進行批次反向傳播）。
現在考慮一下：
- 一個孩子最多隻需要幾百萬個單詞就可以學習語言和基本推理，而不是幾十或幾百萬億個單詞。
- 還要考慮到我們的大腦僅靠大約 20 瓦的電力執行——它們不需要核級的能量來“構建模型”。
（banq注：可能因為大腦容量和處理能力有限，使用資料的抽象壓縮以供大腦處理。LLM不能模仿人類，人類是從有限資源中艱苦進化生存下來的，就如同不能讓你孩子和你一樣受盡創業成長辛苦，這樣做不會讓他們愛惜你打下的江山）
從第一原理我們知道，用更少的數量級的能量和資料就可能達到人類水平的智慧。
（banq注：這個假設恐怕與第一性原理無關，只是從人類大腦的一個類比，人類大腦進化的上下文環境與我們製造大腦的上下文環境不同，沒有必要僵化地照抄歷史）
我們如何利用人工智慧實現這一目標？關鍵在於首先要清楚瞭解人類智慧如此強大的原因。這是一種認知人工智慧方法，與大資料統計人工智慧不同：
- 這些能力包括實時增量學習、概念學習和從非常有限的資料中學習的能力 。
（banq注：關鍵是人類自己無法瞭解人類智慧如此強大原因，愛因斯坦大腦還儲存在那裡，對智慧定義還存在分歧）
認知人工智慧 （DARPA 也稱之為“第三次人工智慧浪潮”）始於確定人類智慧的核心需求。
例如，一個孩子只需一張圖片就能學會識別長頸鹿——我們不需要數百個例子。我們還可以僅用幾個例子來概括情況，並將這些知識應用於非常多樣化的情況（這稱為“遷移學習”，舉一反三）。重要的是，我們還透過元認知來監控和控制我們的思維和推理：我們能夠反思我們的思維情況，思維的思維。
INSA（整合神經符號架構）是這種認知 AI 方法的一個實際例子，它有望實現 AGI，所需的訓練資料和功率將減少許多個數量級，並且可以不斷學習和適應。無需不斷丟棄模型並從頭開始構建新模型。
AGI定義AGI 中的“G”指的是心理測量學中使用的“g”，表示“人類的一般認知能力”，即我們自適應地學習各種各樣的任務和解決各種各樣的問題的能力，而不是某種神奇的、理論上的解決任何科學、數學或邏輯問題的能力。
另一個常見的誤解是，AGI 除了需要具備所需的 認知 能力之外，還需要與人類相似。不，它不需要具備人類發展和情感的所有怪癖。一個很好的比喻是，我們已經擁有“飛行機器” 100 多年了，但還遠遠沒有對鳥類進行逆向工程。對於 AGI，我們感興趣的是建造“思考機器”，而不是逆向工程人類大腦。
那麼我們如何實現 AGI 呢？答案在於認知 人工智慧， 而不是生成人工智慧或統計人工智慧。
- 當前的大語言模型和其他大資料方法屬於第二次浪潮。
- DARPA 將這種基於認知的方法稱為人工智慧的第三次浪潮。
認知人工智慧始於對人類智慧如此特殊的關注和深刻理解，而不是“我們擁有大量資料和計算能力——我們能用它做什麼”。它專門設計了自適應、概念、互動式高階智慧的核心要求。
(banq注：這裡有一個假設前提錯誤，就是認為統計AI不是認知AI，其實這是很可笑的常識錯誤，生物學中大量是研究相關關係的統計論文，關係而不是因果關係才是真實的，科學還原論方法的問題就是要找到因果關係，可惜很多系統是湧現關係，1+1>2，為什麼大於2，不是你還原到兩個1的裡面去尋找，也不是你透過1+1關係尋找，而是湧現出你未認識到的因素，你永遠只是盲人摸象，是探索，真相處於你所在洞穴上下文之外。)
李飛飛創業
李飛飛博士是一位著名的華人AI女科學家，她在人工智慧領域有著深厚的影響力。她最為人所知的成就是建立了ImageNet，這是一個大型的影像識別資料庫，對於深度學習和計算機視覺的發展有著深遠的影響。她在人工智慧領域的工作得到了廣泛的認可，包括當選為美國國家工程院院士、美國國家醫學院院士，以及美國藝術與科學院院士。
關於有人說李
最近，她創立了一家專注於空間智慧的AI公司World Labs，該公司在短時間內迅速成長為獨角獸公司，估值超過10億美元。World Labs致力於發展AI的空間智慧，以解決AI在三維空間感知和理解方面的難題，這對於推動AI技術的發展具有重要意義
有些人可能會認為李飛飛“其實不懂大語言模型”，原因可能有以下幾點：
- 研究領域不同：李飛飛的主要研究領域是計算機視覺，而大語言模型屬於自然語言處理領域。這兩個領域雖然都屬於人工智慧，但它們的核心技術、模型和應用場景是不同的。因此，她可能不如一些專注於語言模型研究的專家那樣深入瞭解該領域的最新進展。
- 大語言模型的複雜性：大語言模型（如 GPT 系列、BERT 等）是非常複雜且快速發展的領域，涉及語義理解、生成式模型、上下文建模等。如果某個專家的研究重點不在這方面，外界可能會誤認為其“不瞭解”這些模型，即便她可能對其背後的核心技術原理有足夠的理解。