在 GPT4 之後，大模型LLM 的效能和設計改進進展相對較少：使其變得更好的主要方法仍然只是將其做大，而且所有替代transformer的架構都被證明是不合格的、低劣的，它們將人們的注意力（和投資）從其他可能更具影響力的技術上轉移開來。
再加上大量對基本機器學習工作原理一無所知的人湧入，他們聲稱自己是 "人工智慧研究員"，因為他們使用 GPT 為每個人本地託管一個模型，試圖說服你 "語言模型完全可以推理"。
我們只需要另一個 RAG 解決方案！他們加入這個社群的唯一目的不是開發新技術，而是利用現有技術拼命拼湊出一個有利可圖的服務。甚至論文字身也開始主要由大模型撰寫。
我不禁想到，整個領域可能會陷入停滯，原因很簡單，不斷壯大的社群滿足於平庸的修正，這些修正充其量只能讓模型在他們任意編造的 "分數 "上稍微好一點，卻忽略了一些明顯的問題，如幻覺、上下文長度、基本邏輯能力以及執行如此規模模型的純粹代價。
我讚揚那些不顧市場炒作，致力於開發具有真正邏輯思維能力的代理的人，並希望能儘快引起更多的關注。
網友討論：
1、以象牙塔院校研究機構主導的機器學習工作原理可能不是真正人工智慧，是一種人工演算法的智慧。而大模型是以算力彌補演算法不足，依靠擴充套件性和大資料實現了人工智慧，這也是chatGPT誕生於企業公司，而不是哈佛MIT等學校的原因。
2、每當學術界或研發部門有人抱怨“X正在扼殺/損害Y的研究！”時，你通常可以在心裡將其改寫為“X正在扼殺/損害我的研究！”，這樣會更真實。
3、圖靈獎獲得者 Hinton 正在世界巡演中發表演講，他認為“語言模型完全可以推理”。雖然存在爭議，但這並不是一個荒謬的觀點。
4、我不是電腦科學家出身，我的工作介於資料分析師和資料科學家之間。我圍繞 SERT 嵌入、聚類和 LLM 生成摘要的組合構建了一個工具，事實證明該工具在文字挖掘用例中非常有用。這樣做的下游效果是，很多人開始認識到資料驅動方法在其領域中的價值，這讓我們的團隊有資源在涉及預測的其他更經典的領域中進行改進。